批量落地第四批名单来源并固化两路勘察结论

按agent清单取到17份名单PDF(仅4.1MB),解析出9校199个逐专业键、1872人,
其中29键是2027推免拟录取;另得湘潭大学15个逐学科复试线。

入库后核发现两处必须修:fetch_manifest 的列名是 pdf_url/page_url,
解析器只认 url 导致199行没有来源可回溯,已回填;辽宁大学那份
find_tables 抽出的是20列空格(文字在合并单元格里),只覆盖12%行,
这类统一标 partial_extract 并在 note 记真实覆盖率,人数当下界而非全校合计。

学费勘察结论值得先记下来:学费空值2398行集中在2023-2026的全日制,
而在职研两源只有非全,补不到缺口处;能补全日制的是院校自站2027简章。
This commit is contained in:
Your Name committed 2026-11-01 01:26:02 +08:00
1 parent d88a9781e2
commit 59caccebb1
11 files changed
+434 -7

No files matched your search

@@ -0,0 +1,19 @@
x_2025_2B1253Dpdf.json 青岛科技大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2025_3a3be0fpdf.json 西藏民族大学 复试名单 行=207 人数键=62 分数线键=0 门槛行=0
x_2025_5E586B5pdf.json 南京医科大学 复试名单 行=102 人数键=12 分数线键=0 门槛行=0
x_2025_6497ckjpdf.json 自然资源部第三海洋研究所 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2025_B753857pdf.json 河南中医药大学 复试名单 行=128 人数键=28 分数线键=0 门槛行=0
x_2025_DE8AF95pdf.json 首都师范大学 复试名单 行=1184 人数键=30 分数线键=0 门槛行=0
x_2026_0E7BABFpdf.json 湘潭大学 复试名单 行=15 人数键=0 分数线键=15 门槛行=0
x_2026_42D9F8Dpdf.json 浙江理工大学 复试名单 行=3 人数键=2 分数线键=0 门槛行=0
x_2026_519f9b3pdf.json 北京信息科技大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2026_DE58D95pdf.json 中国音乐学院 复试名单 行=77 人数键=9 分数线键=0 门槛行=0
x_2026_edd2a1epdf.json 中国食品药品检定研究院 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2027_2027zjtpdf.json 西南财经大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2027_420A3E4pdf.json 中南民族大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2027_94a09f3pdf.json 安徽财经大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2027_963B313pdf.json 曲阜师范大学 复试名单 行=46 人数键=21 分数线键=0 门槛行=0
x_2027_E779416pdf.json 东北农业大学 复试名单 行=33 人数键=6 分数线键=0 门槛行=0
x_2027_EB13E68pdf.json 河北农业大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2027_dfff73dpdf.json 北京联合大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0
x_2027_tmnlqmdpdf.json 辽宁大学 推免拟录取名单 行=92 人数键=29 分数线键=0 门槛行=0
@@ -0,0 +1,25 @@
{
"generated_at": "2026-11-01",
"roster26": {
"usable": 19,
"fetched_ok": 17,
"parsed_schools": 9,
"rows_in_db": 199,
"not_parsed": "4 份 find_tables 抽出合并单元格空格、3 份列名不在识别词表",
"flagged": "partial_extract(人数按不合并处理,note 记覆盖率)"
},
"tuition27": {
"usable": 4,
"key_finding": "学费空值 2398 行集中在 2023-2026 全日制,在职研两源补不到那里;只有院校自站简章能补全日制,且住宿是新字段",
"risk": "两源学费是全程口径且无年份戳,入库前必须与启航/eduego 做同键去重预检"
},
"files": {
"batch_diag.txt": "204e81326caee678",
"postcheck_batch.txt": "a4822d6a9c2cd6e2",
"roster26_README.md": "95e685a16f594cc6",
"roster26_candidates.csv": "bb0ad5b2f44eb051",
"roster26_fetch_manifest.csv": "0b24fbaff8fd137e",
"tuition27_README.md": "7c389bc703ee588d",
"tuition27_sources.csv": "6e0541644e7fbde1"
}
}
@@ -0,0 +1,18 @@
=== official_roster_major_stat 入库后核 ===
键/校/人 (438, 24, 6207)
类型分布 [('复试名单', 358), ('拟录取名单', 51), ('推免拟录取名单', 29)]
值域异常 0
带data_flag 19
空专业键 11
无 source_url 199
新增 9 校: ['东北农业大学', '中国音乐学院', '南京医科大学', '曲阜师范大学', '河南中医药大学', '浙江理工大学', '西藏民族大学', '辽宁大学', '首都师范大学']
=== official_score_lines 入库后核 ===
键/校 (162, 4)
总分线值域 (100, 398)
空线行 0
=== 源行数 vs 库内人数对账(抽样 3 校)===
首都师范大学 源表行=2264 库内键=30 人数=1184 覆盖=52%
辽宁大学 源表行=754 库内键=29 人数=92 覆盖=12%
西藏民族大学 源表行=516 库内键=62 人数=207 覆盖=40%
@@ -0,0 +1,53 @@
# 复试/拟录取名单 PDF 官方直链 扩充勘察(2026/2025)
> 任务范围:只做「找来源 + 小样本验证」,**不写主库、不改既有数据**。产出 `candidates.csv` + `evidence/`。
> 时间:2026-11-01。方法承接当晚 `official_roster_major_stat` 的 PDF 抽表验证。
## 1. 怎么找来源(入口规律)
不依赖搜索引擎批量定位(Bing 不稳 / DDG 失效 / 搜狗撞码)。走**主库公告注册表收割直链**这条路,命中率最高、可追溯:
- `notices_all`(6,987 行):`source='ggyx_api'` 的 `attach` 列直接是 **ggyx OSS 官方附件镜像 PDF 直链**;`title` 含「复试/进入复试/拟录取/最低分」等即名单类公告,`url` 给出院校研究生院页。
- `notice_files`(1,080 行):`kind='attach' AND url LIKE '%.pdf%'` 给出各校研究生院站**自持直链** + 本地归档路径(`status='ok'` 表示历史成功下载过,本次据此取 URL)。
- 用标题关键词过滤名单类、排除已入库 14 校(含当晚 attempted 的协和/广外/昆工/国防科大等),得 35 所新校候选,按「硕士2025/2026 > 其他」排优先级,落盘上限 20 份/50MB。
**各校 CMS 直链的几种形态**(后续批量可据 URL 正则分类):
| 形态 | 样例域/路径 | 本次结论 |
|---|---|---|
| ggyx OSS 镜像 | `ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/…` | 公开可直下,**最稳**,14 校主力 |
| 尤尼/易维 `__local` | `*/__local/<H>/<HH>/<HH>/<32HEX>_<HASH>_<SIZE>.pdf` | 河南中医药/曲阜/河北农大/东北农大/中南民族… **可直下** |
| 博达 `/docs/` | `*/docs/YYYY-MM/<uuid>.pdf` | 北信科/首经贸/北京建筑/外交学院 **可直下** |
| 天翼 `_upload` | `*/_upload/article/files/<x>/<y>/<z>/<uuid>.pdf` | 东华/上海对外经贸/中国传媒/安徽财经 **可直下** |
| `download.jsp` | `*/system/_content/download.jsp?...wbfileid=` | 吉大可下;协和/广外/昆工裸 GET 返 **HTML**(需 Referer/会话) |
| `downfile.jsp` | `*/module/download/downfile.jsp?filename=` | 北京联合 **可直下** |
| pdf.js `viewer.html?file=` | `*/pdfjs/viewer.html?file=…` | 德州学院/中国计量科学研究院:GET viewer 返 **HTML 预览墙**;但裸 `/__local/` 链可下 |
| 裸文件名 | `*/2027sstmnlqmd.pdf` | 辽宁大学 **可直下** |
## 2. 验证判据(照当晚教训)
对每份 PDF:`PyMuPDF.find_tables()` 首屏(扫描至多 5 页)出 ≥1 表;表内命中 **6 位专业代码 `(?<!\d)\d{6}(?!\d)`**(不用 `\b`)**或**「姓名列 + ≥1 成绩列」。成绩列按关键词归槽(政治理论/外国语/业务课/总分…非按位置);表头行靠「含 HEAD_TOKENS 且无 6 位码」识别,取命中 token 数 ≥2 者(**修正大标题行误判**);排除「汇总/合计」行;跨源关联键做 **NFKC 折叠 Kangxi 部首**(⼈→人)。验证码/扫描 PDF 如实记为未取到。
## 3. 结果(verdict 五种均有当场证据)
**usable 19 所**(每校一行、去重):
- 硕士统考名单/线(最贴 `official_roster_major_stat`):中国音乐学院2026、中国食品药品检定研究院2026、自然资源部第三海洋研究所2025、西藏民族大学2025、首都师范大学2025、南京医科大学2025、河南中医药大学2026、浙江理工大学2026、湘潭大学2026(复试线)、青岛科技大学2025(复试线)
- 推免复试/拟录取名单:东北农业大学2027、中南民族大学2027、西南财经大学2027、安徽财经大学2027、曲阜师范大学2027、河北农业大学2027、辽宁大学2027、北京联合大学2027
- 博士拟录取名单:北京信息科技大学2026
**no_table 5**:上海政法学院、东华大学、中国传媒大学、中国环境科学研究院、上海对外经贸大学(承诺书)——前四是真实名单,但公示阶段**只有「姓名+报考专业」无成绩列/无 6 位码**,按任务严格判据不满足;若下游只需「进/复试名单人数」,它们仍是可用素材(已在 note 标注 name/prof 信号)。
**scanned_no_text 1**:德州学院裸 `/__local/` 链=722KB 纯扫描,`find_tables` 出 0 表、文字层≈无。
**captcha_or_login 1**:中国计量科学研究院 `viewer.html`→`text/html`(Mozilla pdf.js 壳);同族 download.jsp(协和/广外/昆工) 裸 GET 亦返 HTML。
**dead_link 1**:承德医学院——上游把公告标题拼进了 URL(`.../>承德医学院…pdf`),404,属数据质量非真链失效。
`evidence/` 放 4 份首屏即出表的最小代表样例(硕士名单含政治/外语/业务/总分、含 6 位码的硕士拟录取、推免名单);其余只留 `candidates.csv` 探测记录,不存原件(原件已清)。
## 4. 下一步批量建议与最大风险
优先批量:ggyx OSS + `__local`/`_upload`/`docs` 三类直链命中率高(本次 19/24 命中),建议先跑这些 CMS、以「硕士2025/2026 复试/拟录取」为第一梯队。
最大风险(批量前必读):
1. **本地原件不可信**:`notice_files.path` 归档路径多已被清理(本次 52 条仅 5 条在盘),批量必须**重新 GET**,不能复用 path。
2. **Referer/会话墙易误判**:`download.jsp`、`viewer.html` 裸 GET 返 HTML——要按「非 %PDF → 需带 Referer/预览重定向」处理,勿直接当 dead_link;pdf.js 可试裸 `/__local/` 链绕过。
3. **公示期无成绩列**:大量「进复试名单」只给姓名+专业,无分数;`official_roster_major_stat` 依赖成绩列,这类要另建「名单人数」口径,不能混入分数统计。
4. **键规范**:6 位专业码前导零按文本;跨源关联先 NFKC 折 Kangxi 部首,否则静默漏配。
@@ -0,0 +1,28 @@
school,year,page_url,pdf_url,has_table,major_col_found,score_cols_found,rows_sampled,bytes_probe,verdict,note
中国音乐学院,2026,https://yjsy.ccmusic.edu.cn/zsgz/ssyjszs/97b6808e20834d6d973d9e7e781ae55d.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260310/8685bc03270ef1d3634c13809392884a%E4%B8%AD%E5%9B%BD%E9%9F%B3%E4%B9%90%E5%AD%A6%E9%99%A22026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E5%A4%8D%E8%AF%95%E8%80%83%E7%94%9F%E5%90%8D%E5%8D%95.pdf,True,False,"业务课,外语,总分,政治",30,618963,usable,OSS;pages=4;tables=1;ncol=12;name=True;major=False;prof=True;textlen=1947;deg=硕士
中国食品药品检定研究院,2026,https://www.nifdc.org.cn/nifdc/xxgk/ggtzh/yjshpy/202603131629291959065.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260313/60d8c61f44e7e2a4f7572db01e9572983d536ab4-753e-492f-8ff4-2dd97edd2a1e.pdf,True,False,"业务课,总分",7,43302,usable,OSS;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=289;deg=硕士
南京医科大学,2025,,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250918/992c1388ba9256cacb7778d80e1834bf2025%E5%B9%B4%E5%8D%97%E4%BA%AC%E5%8C%BB%E7%A7%91%E5%A4%A7%E5%AD%A6%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E5%90%84%E4%B8%93%E4%B8%9A%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95%E6%9C%80%E4%BD%8E%E5%88%86%E6%83%85%E5%86%B5.pdf,True,True,,45,107070,usable,OSS;pages=7;tables=1;ncol=10;name=False;major=True;prof=True;textlen=2656;deg=硕士
河南中医药大学,2025,https://yjsy.hactcm.edu.cn/info/1121/53661.htm,https://yjsy.hactcm.edu.cn/__local/6/7F/3E/5920EA89A98FBD370365E2D63F5_D1F9CEB7_53857.pdf,True,True,总分,78,342103,usable,REG;pages=18;tables=1;ncol=10;name=True;major=True;prof=True;textlen=4575;deg=硕士
浙江理工大学,2026,https://gradadmission.zstu.edu.cn/info/1011/3255.htm,http://gradadmission.zstu.edu.cn/__local/F/35/C9/8D037BDB3E29DF13ACB332E8385_E6F6142D_9F8D.pdf,True,False,总分,3,40845,usable,REG;pages=1;tables=1;ncol=8;name=True;major=False;prof=True;textlen=192;deg=硕士
湘潭大学,2026,https://yjsc.xtu.edu.cn/info/1084/9758.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260316/74f4df73b02d15d572349001caae81b3%E6%B9%98%E6%BD%AD%E5%A4%A7%E5%AD%A62026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E8%80%83%E7%94%9F%E8%BF%9B%E5%85%A5%E5%A4%8D%E8%AF%95%E5%88%86%E6%95%B0%E7%BA%BF.pdf,True,True,总分,15,64369,usable,OSS;pages=1;tables=1;ncol=6;name=False;major=True;prof=True;textlen=480;deg=硕士
自然资源部第三海洋研究所,2025,http://www.tio.org.cn/OWUP/html/zyml.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/63d758afa7bd849ad56b04076707e6e4130856497ckj.pdf,True,False,"业务课,外语,总分,政治",24,69540,usable,OSS;pages=1;tables=1;ncol=11;name=True;major=False;prof=True;textlen=1710;deg=硕士
西藏民族大学,2025,https://www1.xzmu.edu.cn/yjsc/getcontent?id=93528&url=show,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/b1ad42de6328cb5bb12edfbf41d248268b964473-5b6a-4317-8289-646e93a3be0f.pdf,True,True,"业务课,总分,政治",27,198566,usable,OSS;pages=14;tables=1;ncol=10;name=True;major=True;prof=True;textlen=1302;deg=硕士
青岛科技大学,2025,https://yzs.qust.edu.cn/info/1090/1637.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/cf597396848c84e30f06d6f20aa6171cD9D69DACBA211D1E211D80B0B8B_6448D72B_1253D.pdf,True,True,总分,37,75069,usable,OSS;pages=2;tables=1;ncol=5;name=False;major=True;prof=False;textlen=1443;deg=硕士
首都师范大学,2025,https://grad.cnu.edu.cn/zs1/sszs/38b89939dbd14656a716532a088d3424.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/6439fbe1f9afba020fe112a5b9daba63%E5%A4%8D%E8%AF%95.pdf,True,False,"业务课,外语,总分,政治",40,1060505,usable,OSS;pages=47;tables=1;ncol=9;name=True;major=False;prof=False;textlen=1749;deg=硕士
西南财经大学,2027,https://yz.swufe.edu.cn/info/1101/13311.htm,https://yzcx.swufe.edu.cn/chaxun/yzb/tms/2027/02fs/2027zjt.pdf,True,True,,20,48041,usable,REG;pages=1;tables=1;ncol=6;name=False;major=True;prof=False;textlen=1340;deg=硕士
上海政法学院,2027,https://www.shupl.edu.cn/yjsc/2025/0314/c4919a137902/page.htm,https://www.shupl.edu.cn/_upload/article/files/7b/e3/8e6f38a84d7f946300f1e150903d/12a90374-a167-4a0a-8317-e2fa86b25011.pdf,True,False,,32,171628,no_table,REG;pages=15;tables=1;ncol=4;name=True;major=False;prof=False;textlen=1401;deg=推免
东北农业大学,2027,http://graduate.neau.edu.cn/index/tzgg.htm,https://graduate.neau.edu.cn/__local/A/4B/20/3BF6C167E6D42C566A16E96DE88_2654B3E7_79416.pdf,True,True,,31,496662,usable,REG;pages=17;tables=1;ncol=6;name=True;major=True;prof=True;textlen=1673;deg=推免
东华大学,2026,https://yjszs.dhu.edu.cn/2026/0710/c7126a378345/page.htm,https://yjszs.dhu.edu.cn/_upload/article/files/3b/86/1259a04448abbb4041da05fbd3d1/3c29921b-2094-410a-8e20-36df09921516.pdf,True,False,,27,156847,no_table,REG;pages=7;tables=1;ncol=8;name=True;major=False;prof=True;textlen=1404;deg=博士
中南民族大学,2027,https://www.scuec.edu.cn/literature/info/1066/5873.htm,https://www.scuec.edu.cn/__local/0/F6/93/382D6981995BA6078348B033314_931BF420_A3E4.pdf,True,True,,10,41956,usable,REG;pages=1;tables=1;ncol=6;name=True;major=True;prof=True;textlen=312;deg=推免
中国传媒大学,2027,https://yz.cuc.edu.cn/2025/0314/c8543a252037/page.htm,https://yz.cuc.edu.cn/_upload/article/files/aa/0f/806b7737455aaa6c9a146393ec8f/e06ffb76-5285-4ff0-a048-7ed68b230860.pdf,True,False,,56,454448,no_table,REG;pages=48;tables=1;ncol=5;name=True;major=False;prof=False;textlen=897;deg=推免
中国环境科学研究院,2026,https://www.craes.cn/yjsy_sy/djyw/djyw_tzgg/202603/t20260313_1146486.html,https://www.craes.cn/yjsy_sy/zsjy/zsjy_ssszs/202606/W020260615630755018270.pdf,True,False,,1,51833,no_table,REG;pages=1;tables=1;ncol=4;name=True;major=False;prof=False;textlen=63;deg=博士
北京信息科技大学,2026,https://jsjxy.bistu.edu.cn/tzgg/c2c80b2ac5194201937555238c5f6708.html,https://yanjiusheng.bistu.edu.cn/docs/2026-06/9c9655a2fc494da1bd6a7bfa9519f9b3.pdf,True,True,总分,21,331880,usable,REG;pages=8;tables=1;ncol=11;name=False;major=True;prof=True;textlen=2135;deg=博士
安徽财经大学,2027,https://yz.aufe.edu.cn/2024/1004/c5384a223904/page.htm,https://yz.aufe.edu.cn/_upload/article/files/09/98/3d45062941f190a75e252e7e3b71/e06465a1-1594-469d-b46b-3ed6694a09f3.pdf,True,True,总分,26,64466,usable,local-cached;pages=1;tables=1;ncol=9;name=True;major=True;prof=True;textlen=1504;deg=推免
曲阜师范大学,2027,https://yjs.qfnu.edu.cn/info/1044/5325.htm,https://yjs.qfnu.edu.cn/__local/1/E7/DD/19F87AD4F3FA6F1A5D2B37199B0_43475F96_3B313.pdf,True,True,总分,28,242451,usable,local-cached;pages=6;tables=1;ncol=7;name=True;major=True;prof=True;textlen=923;deg=推免
河北农业大学,2027,https://yanjiusheng.hebau.edu.cn/info/1110/4344.htm,https://yanjiusheng.hebau.edu.cn/__local/D/9E/39/A2B36B90B766927F89B1AF480BF_EF6696EB_13E68.pdf,True,False,总分,14,81512,usable,local-cached;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=658;deg=推免
辽宁大学,2027,https://grs.lnu.edu.cn/info/12169/71936.htm,https://grs.lnu.edu.cn/2027sstmnlqmd.pdf,True,True,政治,42,316372,usable,local-cached;pages=11;tables=1;ncol=11;name=True;major=True;prof=True;textlen=2767;deg=推免
德州学院,2026,https://xkjsyjsc.dzu.edu.cn/system/resource/pdfjs/viewer.html?file=/__local/9/5D/94/75B4883D73C717DB2142D507D0B_65051C83_B48BE.pdf,https://xkjsyjsc.dzu.edu.cn/__local/9/5D/94/75B4883D73C717DB2142D507D0B_65051C83_B48BE.pdf,False,False,,0,739518,scanned_no_text,REG-DZU;pages=1;name=False;major=False;prof=False;textlen=0;deg=硕士
上海对外经贸大学,2027,https://www.suibe.edu.cn/yjsy/2026/0915/c23745a199617/page.htm,https://www.suibe.edu.cn/_upload/article/files/81/ee/157fd72b46579eaa371a201fd7fe/f009c4a4-cc56-47c7-8c17-a4abb74cb1fc.pdf,False,False,,0,90036,no_table,REG-SUIBE;pages=1;name=False;major=False;prof=False;textlen=438;deg=推免
北京联合大学,2027,http://grs.buu.edu.cn/,https://adc.buu.edu.cn/module/download/downfile.jsp?classid=0&filename=d94726f109b84f25b4507dadadfff73d.pdf,True,True,,1,48851,usable,REG-BUU;pages=1;name=True;major=True;prof=True;textlen=116;deg=推免
承德医学院,2026,https://yjs.cdmc.edu.cn/,https://yjs.cdmc.edu.cn/>%E6%89%BF%E5%BE%B7%E5%8C%BB%E5%AD%A6%E9%99%A2C%E8%AF%AD%E8%A8%80.pdf,,,,,196,dead_link,REG-CDMC; HTTP 404
中国计量科学研究院,2027,https://www.nim.ac.cn/,https://www.nim.ac.cn/libraries/pdf.js/web/viewer.html?file=%2Fsites%2Fdefault%2Ffiles%2Fpdf%2F2026-09%2Fzhongguojiliangkexueyanjiuyuan2027niantuimianzhaoshenggongzuobanfa_0.pdf,,,,,21686,captcha_or_login,"REG-NIM; GET viewer.html 返回 text/html (Mozilla pdf.js 预览壳, 非PDF); file= 指向的实为2027推免招生办办法, 非名单; 如实记未取到, 不绕"
1 school year page_url pdf_url has_table major_col_found score_cols_found rows_sampled bytes_probe verdict note
2 中国音乐学院 2026 https://yjsy.ccmusic.edu.cn/zsgz/ssyjszs/97b6808e20834d6d973d9e7e781ae55d.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260310/8685bc03270ef1d3634c13809392884a%E4%B8%AD%E5%9B%BD%E9%9F%B3%E4%B9%90%E5%AD%A6%E9%99%A22026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E5%A4%8D%E8%AF%95%E8%80%83%E7%94%9F%E5%90%8D%E5%8D%95.pdf True False 业务课,外语,总分,政治 30 618963 usable OSS;pages=4;tables=1;ncol=12;name=True;major=False;prof=True;textlen=1947;deg=硕士
3 中国食品药品检定研究院 2026 https://www.nifdc.org.cn/nifdc/xxgk/ggtzh/yjshpy/202603131629291959065.html https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260313/60d8c61f44e7e2a4f7572db01e9572983d536ab4-753e-492f-8ff4-2dd97edd2a1e.pdf True False 业务课,总分 7 43302 usable OSS;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=289;deg=硕士
4 南京医科大学 2025 https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250918/992c1388ba9256cacb7778d80e1834bf2025%E5%B9%B4%E5%8D%97%E4%BA%AC%E5%8C%BB%E7%A7%91%E5%A4%A7%E5%AD%A6%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E5%90%84%E4%B8%93%E4%B8%9A%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95%E6%9C%80%E4%BD%8E%E5%88%86%E6%83%85%E5%86%B5.pdf True True 45 107070 usable OSS;pages=7;tables=1;ncol=10;name=False;major=True;prof=True;textlen=2656;deg=硕士
5 河南中医药大学 2025 https://yjsy.hactcm.edu.cn/info/1121/53661.htm https://yjsy.hactcm.edu.cn/__local/6/7F/3E/5920EA89A98FBD370365E2D63F5_D1F9CEB7_53857.pdf True True 总分 78 342103 usable REG;pages=18;tables=1;ncol=10;name=True;major=True;prof=True;textlen=4575;deg=硕士
6 浙江理工大学 2026 https://gradadmission.zstu.edu.cn/info/1011/3255.htm http://gradadmission.zstu.edu.cn/__local/F/35/C9/8D037BDB3E29DF13ACB332E8385_E6F6142D_9F8D.pdf True False 总分 3 40845 usable REG;pages=1;tables=1;ncol=8;name=True;major=False;prof=True;textlen=192;deg=硕士
7 湘潭大学 2026 https://yjsc.xtu.edu.cn/info/1084/9758.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260316/74f4df73b02d15d572349001caae81b3%E6%B9%98%E6%BD%AD%E5%A4%A7%E5%AD%A62026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E8%80%83%E7%94%9F%E8%BF%9B%E5%85%A5%E5%A4%8D%E8%AF%95%E5%88%86%E6%95%B0%E7%BA%BF.pdf True True 总分 15 64369 usable OSS;pages=1;tables=1;ncol=6;name=False;major=True;prof=True;textlen=480;deg=硕士
8 自然资源部第三海洋研究所 2025 http://www.tio.org.cn/OWUP/html/zyml.html https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/63d758afa7bd849ad56b04076707e6e4130856497ckj.pdf True False 业务课,外语,总分,政治 24 69540 usable OSS;pages=1;tables=1;ncol=11;name=True;major=False;prof=True;textlen=1710;deg=硕士
9 西藏民族大学 2025 https://www1.xzmu.edu.cn/yjsc/getcontent?id=93528&url=show https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/b1ad42de6328cb5bb12edfbf41d248268b964473-5b6a-4317-8289-646e93a3be0f.pdf True True 业务课,总分,政治 27 198566 usable OSS;pages=14;tables=1;ncol=10;name=True;major=True;prof=True;textlen=1302;deg=硕士
10 青岛科技大学 2025 https://yzs.qust.edu.cn/info/1090/1637.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/cf597396848c84e30f06d6f20aa6171cD9D69DACBA211D1E211D80B0B8B_6448D72B_1253D.pdf True True 总分 37 75069 usable OSS;pages=2;tables=1;ncol=5;name=False;major=True;prof=False;textlen=1443;deg=硕士
11 首都师范大学 2025 https://grad.cnu.edu.cn/zs1/sszs/38b89939dbd14656a716532a088d3424.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/6439fbe1f9afba020fe112a5b9daba63%E5%A4%8D%E8%AF%95.pdf True False 业务课,外语,总分,政治 40 1060505 usable OSS;pages=47;tables=1;ncol=9;name=True;major=False;prof=False;textlen=1749;deg=硕士
12 西南财经大学 2027 https://yz.swufe.edu.cn/info/1101/13311.htm https://yzcx.swufe.edu.cn/chaxun/yzb/tms/2027/02fs/2027zjt.pdf True True 20 48041 usable REG;pages=1;tables=1;ncol=6;name=False;major=True;prof=False;textlen=1340;deg=硕士
13 上海政法学院 2027 https://www.shupl.edu.cn/yjsc/2025/0314/c4919a137902/page.htm https://www.shupl.edu.cn/_upload/article/files/7b/e3/8e6f38a84d7f946300f1e150903d/12a90374-a167-4a0a-8317-e2fa86b25011.pdf True False 32 171628 no_table REG;pages=15;tables=1;ncol=4;name=True;major=False;prof=False;textlen=1401;deg=推免
14 东北农业大学 2027 http://graduate.neau.edu.cn/index/tzgg.htm https://graduate.neau.edu.cn/__local/A/4B/20/3BF6C167E6D42C566A16E96DE88_2654B3E7_79416.pdf True True 31 496662 usable REG;pages=17;tables=1;ncol=6;name=True;major=True;prof=True;textlen=1673;deg=推免
15 东华大学 2026 https://yjszs.dhu.edu.cn/2026/0710/c7126a378345/page.htm https://yjszs.dhu.edu.cn/_upload/article/files/3b/86/1259a04448abbb4041da05fbd3d1/3c29921b-2094-410a-8e20-36df09921516.pdf True False 27 156847 no_table REG;pages=7;tables=1;ncol=8;name=True;major=False;prof=True;textlen=1404;deg=博士
16 中南民族大学 2027 https://www.scuec.edu.cn/literature/info/1066/5873.htm https://www.scuec.edu.cn/__local/0/F6/93/382D6981995BA6078348B033314_931BF420_A3E4.pdf True True 10 41956 usable REG;pages=1;tables=1;ncol=6;name=True;major=True;prof=True;textlen=312;deg=推免
17 中国传媒大学 2027 https://yz.cuc.edu.cn/2025/0314/c8543a252037/page.htm https://yz.cuc.edu.cn/_upload/article/files/aa/0f/806b7737455aaa6c9a146393ec8f/e06ffb76-5285-4ff0-a048-7ed68b230860.pdf True False 56 454448 no_table REG;pages=48;tables=1;ncol=5;name=True;major=False;prof=False;textlen=897;deg=推免
18 中国环境科学研究院 2026 https://www.craes.cn/yjsy_sy/djyw/djyw_tzgg/202603/t20260313_1146486.html https://www.craes.cn/yjsy_sy/zsjy/zsjy_ssszs/202606/W020260615630755018270.pdf True False 1 51833 no_table REG;pages=1;tables=1;ncol=4;name=True;major=False;prof=False;textlen=63;deg=博士
19 北京信息科技大学 2026 https://jsjxy.bistu.edu.cn/tzgg/c2c80b2ac5194201937555238c5f6708.html https://yanjiusheng.bistu.edu.cn/docs/2026-06/9c9655a2fc494da1bd6a7bfa9519f9b3.pdf True True 总分 21 331880 usable REG;pages=8;tables=1;ncol=11;name=False;major=True;prof=True;textlen=2135;deg=博士
20 安徽财经大学 2027 https://yz.aufe.edu.cn/2024/1004/c5384a223904/page.htm https://yz.aufe.edu.cn/_upload/article/files/09/98/3d45062941f190a75e252e7e3b71/e06465a1-1594-469d-b46b-3ed6694a09f3.pdf True True 总分 26 64466 usable local-cached;pages=1;tables=1;ncol=9;name=True;major=True;prof=True;textlen=1504;deg=推免
21 曲阜师范大学 2027 https://yjs.qfnu.edu.cn/info/1044/5325.htm https://yjs.qfnu.edu.cn/__local/1/E7/DD/19F87AD4F3FA6F1A5D2B37199B0_43475F96_3B313.pdf True True 总分 28 242451 usable local-cached;pages=6;tables=1;ncol=7;name=True;major=True;prof=True;textlen=923;deg=推免
22 河北农业大学 2027 https://yanjiusheng.hebau.edu.cn/info/1110/4344.htm https://yanjiusheng.hebau.edu.cn/__local/D/9E/39/A2B36B90B766927F89B1AF480BF_EF6696EB_13E68.pdf True False 总分 14 81512 usable local-cached;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=658;deg=推免
23 辽宁大学 2027 https://grs.lnu.edu.cn/info/12169/71936.htm https://grs.lnu.edu.cn/2027sstmnlqmd.pdf True True 政治 42 316372 usable local-cached;pages=11;tables=1;ncol=11;name=True;major=True;prof=True;textlen=2767;deg=推免
24 德州学院 2026 https://xkjsyjsc.dzu.edu.cn/system/resource/pdfjs/viewer.html?file=/__local/9/5D/94/75B4883D73C717DB2142D507D0B_65051C83_B48BE.pdf https://xkjsyjsc.dzu.edu.cn/__local/9/5D/94/75B4883D73C717DB2142D507D0B_65051C83_B48BE.pdf False False 0 739518 scanned_no_text REG-DZU;pages=1;name=False;major=False;prof=False;textlen=0;deg=硕士
25 上海对外经贸大学 2027 https://www.suibe.edu.cn/yjsy/2026/0915/c23745a199617/page.htm https://www.suibe.edu.cn/_upload/article/files/81/ee/157fd72b46579eaa371a201fd7fe/f009c4a4-cc56-47c7-8c17-a4abb74cb1fc.pdf False False 0 90036 no_table REG-SUIBE;pages=1;name=False;major=False;prof=False;textlen=438;deg=推免
26 北京联合大学 2027 http://grs.buu.edu.cn/ https://adc.buu.edu.cn/module/download/downfile.jsp?classid=0&filename=d94726f109b84f25b4507dadadfff73d.pdf True True 1 48851 usable REG-BUU;pages=1;name=True;major=True;prof=True;textlen=116;deg=推免
27 承德医学院 2026 https://yjs.cdmc.edu.cn/ https://yjs.cdmc.edu.cn/>%E6%89%BF%E5%BE%B7%E5%8C%BB%E5%AD%A6%E9%99%A2C%E8%AF%AD%E8%A8%80.pdf 196 dead_link REG-CDMC; HTTP 404
28 中国计量科学研究院 2027 https://www.nim.ac.cn/ https://www.nim.ac.cn/libraries/pdf.js/web/viewer.html?file=%2Fsites%2Fdefault%2Ffiles%2Fpdf%2F2026-09%2Fzhongguojiliangkexueyanjiuyuan2027niantuimianzhaoshenggongzuobanfa_0.pdf 21686 captcha_or_login REG-NIM; GET viewer.html 返回 text/html (Mozilla pdf.js 预览壳, 非PDF); file= 指向的实为2027推免招生办办法, 非名单; 如实记未取到, 不绕
@@ -0,0 +1,20 @@
school,year,page_url,pdf_url,local,status,bytes,pages,rows,note
中国音乐学院,2026,https://yjsy.ccmusic.edu.cn/zsgz/ssyjszs/97b6808e20834d6d973d9e7e781ae55d.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260310/8685bc03270ef1d3634c13809392884a%E4%B8%AD%E5%9B%BD%E9%9F%B3%E4%B9%90%E5%AD%A6%E9%99%A22026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E5%A4%8D%E8%AF%95%E8%80%83%E7%94%9F%E5%90%8D%E5%8D%95.pdf,x_2026_DE58D95pdf.pdf,ok,618963,4,124,OSS;pages=4;tables=1;ncol=12;name=True;major=False;prof=True;textlen=1947;deg=硕士
中国食品药品检定研究院,2026,https://www.nifdc.org.cn/nifdc/xxgk/ggtzh/yjshpy/202603131629291959065.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260313/60d8c61f44e7e2a4f7572db01e9572983d536ab4-753e-492f-8ff4-2dd97edd2a1e.pdf,x_2026_edd2a1epdf.pdf,ok,43302,1,8,OSS;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=289;deg=硕士
南京医科大学,2025,,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250918/992c1388ba9256cacb7778d80e1834bf2025%E5%B9%B4%E5%8D%97%E4%BA%AC%E5%8C%BB%E7%A7%91%E5%A4%A7%E5%AD%A6%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E5%90%84%E4%B8%93%E4%B8%9A%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95%E6%9C%80%E4%BD%8E%E5%88%86%E6%83%85%E5%86%B5.pdf,x_2025_5E586B5pdf.pdf,ok,107070,7,400,OSS;pages=7;tables=1;ncol=10;name=False;major=True;prof=True;textlen=2656;deg=硕士
河南中医药大学,2025,https://yjsy.hactcm.edu.cn/info/1121/53661.htm,https://yjsy.hactcm.edu.cn/__local/6/7F/3E/5920EA89A98FBD370365E2D63F5_D1F9CEB7_53857.pdf,x_2025_B753857pdf.pdf,ok,342103,18,1656,REG;pages=18;tables=1;ncol=10;name=True;major=True;prof=True;textlen=4575;deg=硕士
浙江理工大学,2026,https://gradadmission.zstu.edu.cn/info/1011/3255.htm,http://gradadmission.zstu.edu.cn/__local/F/35/C9/8D037BDB3E29DF13ACB332E8385_E6F6142D_9F8D.pdf,x_2026_42D9F8Dpdf.pdf,no_table_rows,40845,1,4,REG;pages=1;tables=1;ncol=8;name=True;major=False;prof=True;textlen=192;deg=硕士
湘潭大学,2026,https://yjsc.xtu.edu.cn/info/1084/9758.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260316/74f4df73b02d15d572349001caae81b3%E6%B9%98%E6%BD%AD%E5%A4%A7%E5%AD%A62026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E8%80%83%E7%94%9F%E8%BF%9B%E5%85%A5%E5%A4%8D%E8%AF%95%E5%88%86%E6%95%B0%E7%BA%BF.pdf,x_2026_0E7BABFpdf.pdf,ok,64369,1,16,OSS;pages=1;tables=1;ncol=6;name=False;major=True;prof=True;textlen=480;deg=硕士
自然资源部第三海洋研究所,2025,http://www.tio.org.cn/OWUP/html/zyml.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/63d758afa7bd849ad56b04076707e6e4130856497ckj.pdf,x_2025_6497ckjpdf.pdf,ok,69540,1,25,OSS;pages=1;tables=1;ncol=11;name=True;major=False;prof=True;textlen=1710;deg=硕士
西藏民族大学,2025,https://www1.xzmu.edu.cn/yjsc/getcontent?id=93528&url=show,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/b1ad42de6328cb5bb12edfbf41d248268b964473-5b6a-4317-8289-646e93a3be0f.pdf,x_2025_3a3be0fpdf.pdf,ok,198566,14,516,OSS;pages=14;tables=1;ncol=10;name=True;major=True;prof=True;textlen=1302;deg=硕士
青岛科技大学,2025,https://yzs.qust.edu.cn/info/1090/1637.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/cf597396848c84e30f06d6f20aa6171cD9D69DACBA211D1E211D80B0B8B_6448D72B_1253D.pdf,x_2025_2B1253Dpdf.pdf,ok,75069,2,96,OSS;pages=2;tables=1;ncol=5;name=False;major=True;prof=False;textlen=1443;deg=硕士
首都师范大学,2025,https://grad.cnu.edu.cn/zs1/sszs/38b89939dbd14656a716532a088d3424.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/6439fbe1f9afba020fe112a5b9daba63%E5%A4%8D%E8%AF%95.pdf,x_2025_DE8AF95pdf.pdf,ok,1060505,47,2264,OSS;pages=47;tables=1;ncol=9;name=True;major=False;prof=False;textlen=1749;deg=硕
西南财经大学,2027,https://yz.swufe.edu.cn/info/1101/13311.htm,https://yzcx.swufe.edu.cn/chaxun/yzb/tms/2027/02fs/2027zjt.pdf,x_2027_2027zjtpdf.pdf,ok,48041,1,21,REG;pages=1;tables=1;ncol=6;name=False;major=True;prof=False;textlen=1340;deg=硕士
东北农业大学,2027,http://graduate.neau.edu.cn/index/tzgg.htm,https://graduate.neau.edu.cn/__local/A/4B/20/3BF6C167E6D42C566A16E96DE88_2654B3E7_79416.pdf,x_2027_E779416pdf.pdf,ok,496662,17,755,REG;pages=17;tables=1;ncol=6;name=True;major=True;prof=True;textlen=1673;deg=推免
中南民族大学,2027,https://www.scuec.edu.cn/literature/info/1066/5873.htm,https://www.scuec.edu.cn/__local/0/F6/93/382D6981995BA6078348B033314_931BF420_A3E4.pdf,x_2027_420A3E4pdf.pdf,ok,41956,1,11,REG;pages=1;tables=1;ncol=6;name=True;major=True;prof=True;textlen=312;deg=推免
北京信息科技大学,2026,https://jsjxy.bistu.edu.cn/tzgg/c2c80b2ac5194201937555238c5f6708.html,https://yanjiusheng.bistu.edu.cn/docs/2026-06/9c9655a2fc494da1bd6a7bfa9519f9b3.pdf,x_2026_519f9b3pdf.pdf,ok,331880,8,475,REG;pages=8;tables=1;ncol=11;name=False;major=True;prof=True;textlen=2135;deg=博士
安徽财经大学,2027,https://yz.aufe.edu.cn/2024/1004/c5384a223904/page.htm,https://yz.aufe.edu.cn/_upload/article/files/09/98/3d45062941f190a75e252e7e3b71/e06465a1-1594-469d-b46b-3ed6694a09f3.pdf,x_2027_94a09f3pdf.pdf,ok,64466,1,27,local-cached;pages=1;tables=1;ncol=9;name=True;major=True;prof=True;textlen=1504
曲阜师范大学,2027,https://yjs.qfnu.edu.cn/info/1044/5325.htm,https://yjs.qfnu.edu.cn/__local/1/E7/DD/19F87AD4F3FA6F1A5D2B37199B0_43475F96_3B313.pdf,x_2027_963B313pdf.pdf,ok,242451,6,164,local-cached;pages=6;tables=1;ncol=7;name=True;major=True;prof=True;textlen=923;
河北农业大学,2027,https://yanjiusheng.hebau.edu.cn/info/1110/4344.htm,https://yanjiusheng.hebau.edu.cn/__local/D/9E/39/A2B36B90B766927F89B1AF480BF_EF6696EB_13E68.pdf,x_2027_EB13E68pdf.pdf,ok,81512,1,15,local-cached;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=658
辽宁大学,2027,https://grs.lnu.edu.cn/info/12169/71936.htm,https://grs.lnu.edu.cn/2027sstmnlqmd.pdf,x_2027_tmnlqmdpdf.pdf,ok,316372,11,754,local-cached;pages=11;tables=1;ncol=11;name=True;major=True;prof=True;textlen=27
北京联合大学,2027,http://grs.buu.edu.cn/,https://adc.buu.edu.cn/module/download/downfile.jsp?classid=0&filename=d94726f109b84f25b4507dadadfff73d.pdf,x_2027_dfff73dpdf.pdf,no_table_rows,48851,1,2,REG-BUU;pages=1;name=True;major=True;prof=True;textlen=116;deg=推免
1 school year page_url pdf_url local status bytes pages rows note
2 中国音乐学院 2026 https://yjsy.ccmusic.edu.cn/zsgz/ssyjszs/97b6808e20834d6d973d9e7e781ae55d.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260310/8685bc03270ef1d3634c13809392884a%E4%B8%AD%E5%9B%BD%E9%9F%B3%E4%B9%90%E5%AD%A6%E9%99%A22026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E5%A4%8D%E8%AF%95%E8%80%83%E7%94%9F%E5%90%8D%E5%8D%95.pdf x_2026_DE58D95pdf.pdf ok 618963 4 124 OSS;pages=4;tables=1;ncol=12;name=True;major=False;prof=True;textlen=1947;deg=硕士
3 中国食品药品检定研究院 2026 https://www.nifdc.org.cn/nifdc/xxgk/ggtzh/yjshpy/202603131629291959065.html https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260313/60d8c61f44e7e2a4f7572db01e9572983d536ab4-753e-492f-8ff4-2dd97edd2a1e.pdf x_2026_edd2a1epdf.pdf ok 43302 1 8 OSS;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=289;deg=硕士
4 南京医科大学 2025 https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250918/992c1388ba9256cacb7778d80e1834bf2025%E5%B9%B4%E5%8D%97%E4%BA%AC%E5%8C%BB%E7%A7%91%E5%A4%A7%E5%AD%A6%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E5%90%84%E4%B8%93%E4%B8%9A%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95%E6%9C%80%E4%BD%8E%E5%88%86%E6%83%85%E5%86%B5.pdf x_2025_5E586B5pdf.pdf ok 107070 7 400 OSS;pages=7;tables=1;ncol=10;name=False;major=True;prof=True;textlen=2656;deg=硕士
5 河南中医药大学 2025 https://yjsy.hactcm.edu.cn/info/1121/53661.htm https://yjsy.hactcm.edu.cn/__local/6/7F/3E/5920EA89A98FBD370365E2D63F5_D1F9CEB7_53857.pdf x_2025_B753857pdf.pdf ok 342103 18 1656 REG;pages=18;tables=1;ncol=10;name=True;major=True;prof=True;textlen=4575;deg=硕士
6 浙江理工大学 2026 https://gradadmission.zstu.edu.cn/info/1011/3255.htm http://gradadmission.zstu.edu.cn/__local/F/35/C9/8D037BDB3E29DF13ACB332E8385_E6F6142D_9F8D.pdf x_2026_42D9F8Dpdf.pdf no_table_rows 40845 1 4 REG;pages=1;tables=1;ncol=8;name=True;major=False;prof=True;textlen=192;deg=硕士
7 湘潭大学 2026 https://yjsc.xtu.edu.cn/info/1084/9758.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260316/74f4df73b02d15d572349001caae81b3%E6%B9%98%E6%BD%AD%E5%A4%A7%E5%AD%A62026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E8%80%83%E7%94%9F%E8%BF%9B%E5%85%A5%E5%A4%8D%E8%AF%95%E5%88%86%E6%95%B0%E7%BA%BF.pdf x_2026_0E7BABFpdf.pdf ok 64369 1 16 OSS;pages=1;tables=1;ncol=6;name=False;major=True;prof=True;textlen=480;deg=硕士
8 自然资源部第三海洋研究所 2025 http://www.tio.org.cn/OWUP/html/zyml.html https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/63d758afa7bd849ad56b04076707e6e4130856497ckj.pdf x_2025_6497ckjpdf.pdf ok 69540 1 25 OSS;pages=1;tables=1;ncol=11;name=True;major=False;prof=True;textlen=1710;deg=硕士
9 西藏民族大学 2025 https://www1.xzmu.edu.cn/yjsc/getcontent?id=93528&url=show https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/b1ad42de6328cb5bb12edfbf41d248268b964473-5b6a-4317-8289-646e93a3be0f.pdf x_2025_3a3be0fpdf.pdf ok 198566 14 516 OSS;pages=14;tables=1;ncol=10;name=True;major=True;prof=True;textlen=1302;deg=硕士
10 青岛科技大学 2025 https://yzs.qust.edu.cn/info/1090/1637.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/cf597396848c84e30f06d6f20aa6171cD9D69DACBA211D1E211D80B0B8B_6448D72B_1253D.pdf x_2025_2B1253Dpdf.pdf ok 75069 2 96 OSS;pages=2;tables=1;ncol=5;name=False;major=True;prof=False;textlen=1443;deg=硕士
11 首都师范大学 2025 https://grad.cnu.edu.cn/zs1/sszs/38b89939dbd14656a716532a088d3424.htm https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/6439fbe1f9afba020fe112a5b9daba63%E5%A4%8D%E8%AF%95.pdf x_2025_DE8AF95pdf.pdf ok 1060505 47 2264 OSS;pages=47;tables=1;ncol=9;name=True;major=False;prof=False;textlen=1749;deg=硕
12 西南财经大学 2027 https://yz.swufe.edu.cn/info/1101/13311.htm https://yzcx.swufe.edu.cn/chaxun/yzb/tms/2027/02fs/2027zjt.pdf x_2027_2027zjtpdf.pdf ok 48041 1 21 REG;pages=1;tables=1;ncol=6;name=False;major=True;prof=False;textlen=1340;deg=硕士
13 东北农业大学 2027 http://graduate.neau.edu.cn/index/tzgg.htm https://graduate.neau.edu.cn/__local/A/4B/20/3BF6C167E6D42C566A16E96DE88_2654B3E7_79416.pdf x_2027_E779416pdf.pdf ok 496662 17 755 REG;pages=17;tables=1;ncol=6;name=True;major=True;prof=True;textlen=1673;deg=推免
14 中南民族大学 2027 https://www.scuec.edu.cn/literature/info/1066/5873.htm https://www.scuec.edu.cn/__local/0/F6/93/382D6981995BA6078348B033314_931BF420_A3E4.pdf x_2027_420A3E4pdf.pdf ok 41956 1 11 REG;pages=1;tables=1;ncol=6;name=True;major=True;prof=True;textlen=312;deg=推免
15 北京信息科技大学 2026 https://jsjxy.bistu.edu.cn/tzgg/c2c80b2ac5194201937555238c5f6708.html https://yanjiusheng.bistu.edu.cn/docs/2026-06/9c9655a2fc494da1bd6a7bfa9519f9b3.pdf x_2026_519f9b3pdf.pdf ok 331880 8 475 REG;pages=8;tables=1;ncol=11;name=False;major=True;prof=True;textlen=2135;deg=博士
16 安徽财经大学 2027 https://yz.aufe.edu.cn/2024/1004/c5384a223904/page.htm https://yz.aufe.edu.cn/_upload/article/files/09/98/3d45062941f190a75e252e7e3b71/e06465a1-1594-469d-b46b-3ed6694a09f3.pdf x_2027_94a09f3pdf.pdf ok 64466 1 27 local-cached;pages=1;tables=1;ncol=9;name=True;major=True;prof=True;textlen=1504
17 曲阜师范大学 2027 https://yjs.qfnu.edu.cn/info/1044/5325.htm https://yjs.qfnu.edu.cn/__local/1/E7/DD/19F87AD4F3FA6F1A5D2B37199B0_43475F96_3B313.pdf x_2027_963B313pdf.pdf ok 242451 6 164 local-cached;pages=6;tables=1;ncol=7;name=True;major=True;prof=True;textlen=923;
18 河北农业大学 2027 https://yanjiusheng.hebau.edu.cn/info/1110/4344.htm https://yanjiusheng.hebau.edu.cn/__local/D/9E/39/A2B36B90B766927F89B1AF480BF_EF6696EB_13E68.pdf x_2027_EB13E68pdf.pdf ok 81512 1 15 local-cached;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=658
19 辽宁大学 2027 https://grs.lnu.edu.cn/info/12169/71936.htm https://grs.lnu.edu.cn/2027sstmnlqmd.pdf x_2027_tmnlqmdpdf.pdf ok 316372 11 754 local-cached;pages=11;tables=1;ncol=11;name=True;major=True;prof=True;textlen=27
20 北京联合大学 2027 http://grs.buu.edu.cn/ https://adc.buu.edu.cn/module/download/downfile.jsp?classid=0&filename=d94726f109b84f25b4507dadadfff73d.pdf x_2027_dfff73dpdf.pdf no_table_rows 48851 1 2 REG-BUU;pages=1;name=True;major=True;prof=True;textlen=116;deg=推免
@@ -0,0 +1,99 @@
# 2027 招生简章 学费 / 学制 批量来源勘察(2026-11-01,只读,未写库)
约束回放:全程只读 GET(含探活脚本,method 不可配置),未碰注销类接口,未绕验证码/登录墙,未用 POST 试未知端点;`数据库\zexiao_2027.db`、`脚本\`、`docs\` 均未改动;本目录实测落盘 1.4 MB(上限 50 MB)。
判据口径:四判据(静态直出 / URL 可按院校枚举 / 有无 JSON 接口 / 登录墙与反爬)逐条判,结论落在 `sources.csv` 的 `verdict` 列(usable / usable_offtopic / blocked / dead / no_data)。`usable_offtopic` 指取得到内容但整页没有考研学费学制字段,不算可用。
---
## 一、值得接进落值链路的源(3 个)
### 1. 在职研之家 eduour.com —— 学费+学制双字段直出,规模最大
- 列表:`https://www.eduour.com/jianzhang/<类型>-<院校id>-<学科id>-<学制>-<待定>-<排序>/p<N>/`
- 类型实测取值:7=同等学力、8=非全日制、69=在职博士、70=高级研修、71=中外合办、166=国际硕士、167=国际博士、0=不限
- 分页真生效(`/p2/` 与 `/p1/` 的文章 id 集合几乎不重叠);非全 189 页、不限 284 页,每页 20 行 → 非全 ≈3,780 行、全类型 ≈5,680 行
- 列表行字段:学习方式 | 专业方向 | 学科门类 | 学校 | 学院 | 学制(年) | 学费(万元) | 授课方式 | 地区
- 院校维度可直接从同一页导航收割:**470 个院校 id**(0=不限,10=天津大学,24=山东大学,95/100/114/15…)→ 可按 `xuexiao<id>` 枚举,无需猜键
- 正文:`/xuexiao<院校id>/jianzhang/<文章id>.html`,抽样 3 篇均含 学费+学制;两篇是 **2027 简章**(天津大学 2027 电子信息非全、海南大学 2027 MBA),一篇是 2026 在职研简章
- 另有 学费资讯表:`/xuexiao384/zhaosheng/60870.html` 的三列表格里出现 **专业代码 085406 控制工程 + 标准学制 3 年 + 全程总学费 36000 元** —— 这是本批唯一「代码级 + 全程额 + 学制」同场的形态,最适合直接落 `tuition_total`
关联键:`学校名`(→ `dim_school_id_map` 归一到 `xy_id`)+ `学院` + `专业方向/专业名称`;正文里出现的专业代码按文本处理(保留前导零,别剥字母)。**没有 xy_id**,跨院系同名专业必须带学院做第三键,否则会按项目规则放大。
### 2. EOL 考研·在职研究生院校库 kaoyan.eol.cn/zaizhi —— 结构化最干净
- 列表:`/zaizhi/school-list/<类别>-<省码>-<学费档>-<学制>-<排序>/p-N/`,**类别只有 5 个**:mba / mem / mpa / mpacc / mta(law、edue、med、eng、econ、psy 都返 200 但是空壳 —— 属源侧真空,别再改参数)
- 卡片:`学制:2年 学费:3.50万-8.80万 2024 招生:216人`;页码参数与院校 id 都已用 `probe_source.py --diff` 证明生效(p1/p2 指纹不同、school 1005/1006 指纹不同)
- 详情:`/zaizhi/school/<院校id>/zsxx` 表格列为 专业名称|招生年份|研究方向|学习方式|计划招生人数|备注,另带「学制说明」「学费说明」两个自由文本字段;院校 id 实测 832/952/1005/1006/1086/1100 均 200
- 数据量:5 类共 33+22+29+28+10=122 页 ≈ 1,220 张卡片,去重后 600–800 校
关联键:同 eduour(校名 + 学院 + 专业名)。与 eduour 覆盖面重叠大(都是在职/非全专硕),**净新增有限,取其一即可,优先 eduour**(字段更细、含 2027 简章正文与专业代码)。
### 3. 院校自站 2027 简章正文 + 学费附表 PDF —— 唯一能给全日制/学术型的源
抽样 4 所(2027 简章均已发布,正文 HTML 直出,无登录):
| 校 | 学费 | 学制 | 住宿 |
|---|---|---|---|
| 南方医科大学 `portal.smu.edu.cn/yzw/info/1002/12431.htm` | 6 条类别级标准:学术 8000、临床口腔中医专硕 16000、生医工/公卫/应统/心理/护理/药学 12000、法硕/MPA 等 18000(元/人·年) | 法硕 2 年,其余 3 年,最长 5 年 | 有「(二)住宿费」章节 |
| 深圳大学 `yz.szu.edu.cn/info/1006/15466.htm` | 学术 8000 元/年;全日制专硕 10000–28000 元/年;非全专硕 25000–100000 元/年 | 学术 3 年;专硕 3 年(翻译/工商 2 年,国际商务非全 2.5 年) | 明确「非全日制及定向研究生不提供住宿」 |
| 华南理工 `yz.scut.edu.cn/2026/0930/c30108a636831/page.htm` | 正文只写「学费标准及学制见附件」→ 二跳取 `/_upload/article/files/…/<uuid>.pdf`,PyMuPDF 抽出《2027 年硕士研究生招生学费标准、学制一览表》:2 页 279 行,70 行含学费或学制,列为 研究生类别|单位(元/生•学年)|收费标准|学制 | 同表 | 有(定向/非全不安排住宿) |
| 中山 `graduate.sysu.edu.cn/zsw/article/541` | 正文无数字 | 全日制 2 或 3 年,非全 3 年(EMBA 2 年) | 无 |
批量入口结论(重要,别当已解决):**文章 URL 形态可辨但栏目列表页不可统一反推**。实测 RsyqCMS 的 `/<yyyymmdd>/c<栏目>a<文章>/page.htm` 对应列表页 `/zsjz/list.htm` 在华工 200(且列出 2027 章程),在深圳大学 404、在中国石油 410;info-CMS 由文章 URL 反推的 `/info/<栏目>/list.htm` 三校全 404;兰州大学栏目页 412(WAF)。所以这条只能沿用既有的「子域探测 + 栏目下钻」,不能用一条规律批量拼。
关联键:`校名(分校区不折叠:矿大徐州/北京、地大北京/武汉、石油北京/华东、华电/保定各自独立)` → `dim_school_id_map` → `xy_id`;类别级标准落到专业行时按「学术/专硕 × 全日制/非全 × 定向/非定向」分档复制,**全校合计不得复制进同校多个学院行**(项目口径:粒度不可跨级混)。
---
## 二、判 usable 但增量为零 / 只作存证的源
- **研招网 简章频道 `yz.chsi.com.cn/kyzx/zsjz/?start=N`**:静态直出、`start` 分页真生效(start=0 与 start=40 交集 40、新增 40)、无登录墙,正文是简章全文重印(实测「十二、学费及奖助政策」「(一)学费」「三、基本学制」章节俱在)。但**累计 270 条里 2027 年简章只有 2 条**(嘉兴大学、西北民族大学),管理类联考子频道 `glllk/zsjz` 最新停在 202510(=2026 简章)。结论:CHSI 转载滞后于院校自站,2027 学费不能指望它当批量入口;它的价值是自站之外的第二层存证。
- **研招网 院校库 招生章程栏目 `listZszc--schId-*,categoryId-*`**:栏目页 200,但表格里只有 序号|标题|发布时间,**标题不带 `<a>` 直链**(北京化工大学最新只到 2014,三峡大学 0 条链接)→ 新 `infoId` 无法枚举,判 blocked。库内 2,264 条历史 `viewZszc` URL 今天仍能 200 取正文(已用三峡大学 2021 简章验证),所以旧正文可继续用,别再去啃栏目页。
## 三、明确不投入的(含 2 个 usable_offtopic)
| 源 | 结论 |
|---|---|
| 专业学位网 `yz.zyxw.cn` / `api.zyxw.cn` | 匿名 JSON 真存在:`/v1/college/list?page&size&institution_type` 返 200,`data.count=2826`,字段 id/name/subordinate/nature(双,985,211,自划线,研究生院)/area/type —— **整页 0 个学费学制字段**,判 usable_offtopic。逐专业接口未定位:前端路由 `/school/details/professional_catalogue` 等,其数据由客户端异步加载,入口 JS 与已扫 12 个 chunk 里没有 `/v1|/v2` 调用串,直接猜路径(`/v1/college/details`、`/professional_catalogue`、`/scholl_rules`、`/reporting_ratio`)**全部 404**,按纪律立即停手不再猜。另:其 logo 域名是 `yz.yanxian.org`,与今晚已入库的研线网同源,重复风险高。若要院校旁证(985/211/自划线)可用它,但不接学费链路。 |
| MBAChina `mba.mbachina.com` | 院校详情页确有 学制/学费 标签(合工大 MBA:弹性学制 2—4 年),首页可收割 298 个 `/college/<32位hash>.html`,但 hash 与院校代码无对应关系,只能按校名匹配;《2027全国MBA院校学费汇总》文章正文 **0 表格、63 张图**,逐校数值在图里。且与 eduour/EOL/已入库启航重叠。判 usable_offtopic,只当旁证。 |
| 希赛 educity.cn/zaizhi、泰祺 tgmba.com、高校之窗 gxu211.com、优路 youlu.com | 页面 200 但整页无学费学制数值(no_values_here)→ no_data |
| 育路 yuloo.com | TLS `SSLV3_ALERT_HANDSHAKE_FAILURE`,curl 仅 1 字节 → blocked(与 bkzzy 同类,不绕) |
| 圣才 100xuexi.com 考研检索 | http_error,且本站本无简章结构化表 → blocked |
已判定不可用与今晚已吃过的源(考研派/文都/海文/考研帮/学位网;研线网、eduego、exam8、51test、启航、高顿;以及 search_round4/five_sources 那批)本轮没有重复勘察。
---
## 四、口径注意(必须照 `docs\审计口径规范.md` 走)
1. **学费双语义并存,且同站内混写**。eduour / EOL 的**列表学费一律是全程总额**(万元),对应 `tuition_kind=元/全部`,须按 学制 折年费才能和 `tuition_year` 对齐;正文里又常写「36000元/年」(=年费)。实测海南大学 2027 MBA:卡片 10.8 万 = 正文 36000 元/年 × 3 年 —— 两种口径必须分列,不许合并成一条。EOL「学费说明」自由文本实测有 4 种形态:`4.2万/3年`(全程)、`14000/年`(年费)、`全日制5万/2年`(全程)、`2.7万`(裸全程)。
2. **区间值是常态**:深圳大学「专硕 10000-28000 元/年」、EOL 卡片「3.50万-8.80万」。区间不能取均值落 `tuition_year`;按项目规则只能进摘录列,或拆成 `duration_min/max` 式的 `tuition_min/max`,与单值分列。
3. **类别级 ≠ 专业级**:自站简章给的通常是「学术/专硕 × 全日制/非全 × 定向」的类别级标准(华南工附表连「少数民族骨干计划」「单独考试」都单列)。把它复制进同校多个专业行属跨级复制,需按类别精确匹配后落,并标注「推导值(类别级标准 × 本行类别)」。
4. **学费数值没有年份戳**:EOL 卡片挂着「2024」标签、正文写「2021年学费为4.2万/3年」。凡按这些源落值,`year` 只能取源文自身标出的年份,不得当成 2027。
5. **住宿是新字段**:主库 `pd_dir_detail` 无住宿列(已实测 pragma),而 4 所自站简章里 3 所给出住宿条款(深大「非全日制及定向不提供住宿」、华工「全日制定向及非全日制不安排住宿」)。要吃得先建表并登记 `dim_table_meta`。
6. **专业代码按文本**:在职研站只有部分正文出现 6 位码(实测 085400/125100/125200/125400/085406),一律前导零保留、禁止剥字母;`(?<!\d)\d{6}(?!\d)` 匹配,别用 `\b`。
## 五、能补多少(推导,非实测)
- 主库现状:`pd_dir_detail` 学费空值 **2,398 行**,全部在 2023–2026(其中 2,337 行是**全日制**、61 行非全);2027 学费**零空缺**但仍有 **3,457 行未被数值化**(`tuition_year` 与 `tuition_total` 双空)+ 434 行 `unparsed`。学制空值 1,506 行。
- 由此:两个在职研站(eduour ≈3,780 非全简章行、EOL ≈1,220 卡)**基本补不到 2023–2026 全日制那 2,337 行空缺**,它们的落点是 (a) 非全学费/学制的交叉核验,(b) 2027 非全 1,169 行里数值化的修补,(c) `tuition_total`(元/全部)这一层的独立来源。
- 真正能补 2023–2026 全日制空缺的是**院校自站类别级学费标准**:按 81 个已知自站简章域名、华南理工式附表 70 行的密度推,若全量跑通 300–500 校,可对 2,337 行中的多数给出类别级推导值(保守估 1,000–1,800 行可落,其余受"源侧没公布"限制),同时产出 住宿 新字段 300+ 校。
- 与已入库的 `qihang_tuition`(2,148 行) / `eduego_tuition`(492 行非全) 的重叠率本轮**没有测**(要拿校名+专业名去交叉,属落库前动作),去重预检必须按项目既有教训「用同一个键做复核与预检」,否则会重演 95/144 的误判。
## 六、最大不确定性(按影响排序)
1. **自站批量入口**:简章正文 4/4 可直出,但栏目列表页规律不通用(`/zsjz/list.htm` 命中 1/3,info-CMS 反推 0/3,且存在 410/412),所以"覆盖多少校"取决于逐校探测成本,而不是一个 URL 模板。
2. **在职研站的口径与年份**:全程/年费混写 + 数值无 2027 年份戳,接进交付层前必须逐条判 `tuition_kind`,错一次就是成批假记录。
3. **校名归一与重叠**:eduour/EOL/MBAChina 给的是校名(含分校区、独立学院、中外合办项目),与 `dim_school_id_map` 的匹配率、以及与已入库启航/eduego 的行级重叠率都未量化。
## 七、产物
- `sources.csv`:13 个源 × 11 列(含四判据逐条结论、实测样例行数、可覆盖校数估计、verdict)
- `samples/`:每源 ≤3 条真实样例(HTML 原文或抽字段文本),可看出字段名
- `eduour_1/2/3`:非全简章列表、2027 简章正文、专业代码级学费表
- `eol_1/2/3`:MBA 列表、带筛选的 MPAcc 列表、院校详情 zsxx 表
- `chsi_1/2/3` + `chsi_栏目页无直链_北京化工`:频道列表、两篇 2027 简章正文、断供直链的证据
- `schoolsite_*`:三所自站简章抽字段文本 + 华南理工 2027 学费标准附表 PDF 抽取结果
- `mbachina_*`、`zyxw_*`:判 usable_offtopic 的现场证据
- 勘察脚本(本目录,非 `脚本\`):`fetch_probe.py`、`dump.py`、`eol_enum.py`、`eol_census.py`、`eduour_probe.py`、`eduour_list.py`、`eduour_detail.py`、`school_probe.py`、`zyxw_api.py`、`chsi_chain.py`、`chsi_census.py`、`selfsite_entry.py`、`round2.py`、`build_sources_csv.py`,以及 `out/` 下 56 份逐次探测回执(含 `--diff` 分页生效证据、404/410/412 证据、GitHub 仓库搜索 0 命中证据、`round3.txt` 栏目 slug 命中与 MBAChina 图片化证据、`final_counts.txt` 枚举基数)。`round3` 一批为命令行内联执行,证据以 `out/round3.txt` 为准。
@@ -0,0 +1,14 @@
source_name,base_url,probe_url,school_enumerable,has_json_api,login_or_anti_bot,fields_found,sample_rows,schools_covered_estimate,verdict,note
EOL考研·在职研究生院校库(kaoyan.eol.cn/zaizhi),https://kaoyan.eol.cn/zaizhi/,https://kaoyan.eol.cn/zaizhi/school-list/mba-0-0-0-0-0/p-1,是:/zaizhi/school/<院校id>/zsxx(实测 id 832/952/1005/1006/1086/1100 均 200 且内容互异);列表页 /school-list/<类别>-<省码>-<学费档>-<学制>-<排序>-<分页>/p-N/,类别仅 5 个(mba/mem/mpa/mpacc/mta,law/edue/med/eng/econ/psy 返 200 空壳),否:Next.js SSR,学费/学制值直接内联在 HTML(RSC 载荷里也能读到),无独立 JSON 接口,无:无 WAF、无验证码、无签名,GET 直出 200,院校名/学院/专业名称/招生年份/研究方向/学习方式(全日制·非全)/计划招生人数/学制(年)/学费区间(万元)/学费说明(自由文本)/备注,列表页 10 行/页;院校详情 zsxx 表 4-9 行/校(样例:湖南工商大学 MPAcc 7 行;校卡片『学制:2年 学费:3.50万-8.80万 2024 招生:216人』),"卡片合计约 1,220 行(MBA 33页+MEM 22+MPA 29+MPAcc 28+MTA 10,各 20 行/页),去重后约 600-800 校",usable,只覆盖 5 个管理类专硕(在职/非全),不含全日制统考与学术型;卡片带 2024 年标,学费无年份戳,院校详情『学费说明』为自由文本(实测 4 种口径混用:『4.2万/3年』=全程、『14000/年』=年费、『全日制5万/2年』=全程、『2.7万』=裸全程),落值须按 tuition_kind 三分;分页与院校 id 均已用 --diff 验证真生效
在职研之家(eduour.com),https://www.eduour.com/,https://www.eduour.com/jianzhang/8-0-0-0-0-1/,是:/jianzhang/<类型>-<院校id>-<学科id>-<学制>-<待定>-<排序>/p<N>/,同一页导航里出现 470 个院校 id(0=不限,10=天津大学);类型 7=同等学力 8=非全日制 69=在职博士 70=高级研修 71=中外合办 166=国际硕士 167=国际博士;正文页 /xuexiao<院校id>/jianzhang/<文章id>.html,否:纯静态 HTML(表 + 卡片),无 XHR 接口,无:GET 直出 200,无验证码/签名;运营方=北京大成卓立教育科技有限公司(与 eduego 不同域名体系,需按校名去重),学习方式/专业方向/学科门类/学校/学院/学制(年)/学费(万元,全程)/授课方式/地区;简章正文另有 招生学院、专业代码(6 位,实测 085400/125100/125200/125400)、标准学制、全程总学费(元)、缴费方式、住宿/不提供住宿条款,"20 行/页:非全日制 189 页≈3,780 行;不限 284 页≈5,680 行;正文实测 3 篇全含『学制+学费』双字段(天津大学 2027 电子信息非全:学制3年/3.75万;海南大学 2027 MBA:正文『36000元/年』×3年=卡片 10.8万;山东大学药学:学制2年/20000元)",469 校(导航院校维度实测计数),在职/非全口径;2027 简章已在库(标题年份实测含 2027),usable,"口径:列表学费=全程总额(= tuition_kind『元/全部』),正文可能写元/年,两者互为乘除,须与 学制 同场才能折年费;粒度是 院校×学院×专业方向,无 xy_id,专业代码只在部分正文出现;不含全日制统考(正是主库 2,337 行全日制空缺的那批)"
院校自站 2027 简章(研究生院子站 HTML + 学费附表 PDF),各校 yz./gs./yjs./graduate./portal. 子域,https://yz.scut.edu.cn/zsjz/list.htm,半:文章 URL 形态可辨(RsyqCMS /<yyyymmdd>/c<栏目>a<文章>/page.htm 与 _upload/article/files/*.pdf;info-CMS /info/<栏目>/<文章>.htm),但栏目列表页规律不通用——实测 /zsjz/list.htm 华南理工 200 且列出 2027 章程,深圳大学 404、中国石油 410、兰州大学栏目 412;info-CMS 反推 /info/<栏目>/list.htm 三校全 404,否:静态 HTML/PDF,部分校有 WAF(兰州大学 yz.lzu.edu.cn 栏目页 412);抽样 4/4 简章正文 200 无验证码无登录,简章正文:学费标准(按 学术/专硕 类别 × 全日制/非全 × 定向/非定向,元/人·年)、基本学制与学习年限、住宿费与是否提供住宿、学习方式;华南理工附件 PDF《2027 年硕士研究生招生学费标准、学制一览表》= 研究生类别/单位/收费标准/学制 四列,4 校正文全命中:南方医科大学 6 条学费标准行(8000/12000/16000/18000 元/年)+学制(法硕2年/其余3年);深圳大学 1 条区间(学术8000元/年、专硕1万-2.8万/年、非全2.5万-10万/年)+住宿条款;中山大学 学制(全日制2或3年、非全3年、EMBA2年);华南理工正文无数字、指向 PDF 附件,附件解析出 70 行含学费/学制,库内已有自站简章域名 81 个、标题含 2027 的简章 75 条(简章季刚起步);按既有『子域探测+栏目下钻』流程全量估 300-500 校可直出正文,usable,"唯一能给 全日制/学术型 类别级学费 的源(主库空缺集中在 2023-2026 全日制 2,337 行);学费口径=元/学年,落值走 tuition_kind『元/年』;『是否提供住宿』主库暂无列,可作新增字段;务必区分『正文含数字』与『正文只指向附件』(后者需二跳取 _upload/article/files/*.pdf)"
研招网 招生简章频道(yz.chsi.com.cn/kyzx/zsjz/),https://yz.chsi.com.cn/kyzx/zsjz/,https://yz.chsi.com.cn/kyzx/zsjz/?start=0,是(按文章,不是按院校):?start=N 每页 80 条,实测 start=0 与 start=40 的链接集合交集 40、仅后者新增 40 → 分页真生效;院校维度在 /sch/ 页只给 20 校/页,否:静态 HTML,无:GET 直出,未见签名/验证码,简章全文重印发『十二、学费及奖助政策』『三、基本学制』『(二)住宿费』等章节,累计去重 270 条中 2027 年简章仅 2 条(嘉兴大学、西北民族大学),两条正文都含 学费+学制 章节;管理类联考子频道 glllk/zsjz 最新只到 202510(2026 简章),"当前 2027 覆盖 2/270 ≈ 1%,滞后镜像;历史 viewZszc 正文 URL(库内 2,264 条)今天仍可 200 取正文,但 infoId 无法从栏目页枚举",usable,判 usable 但增量为零:2027 简章以院校自站先发布、CHSI 转载滞后,别把它当 2027 学费的批量入口;真正可用的是『正文可直出』这一点(可作官网之外的第二层存证)
MBAChina 院校库(mba.mbachina.com),https://mba.mbachina.com/,https://mba.mbachina.com/college/040d204cf3b3b143972d1035e7096d0d.html,半:首页给出 298 个 /college/<32位hash>.html 链接可翻列表取全,但 hash 与院校代码无关,只能按校名匹配,未见(页面为服务端渲染 HTML,无接口调用点),无,院校详情含『学制』『学费』字段(实测合肥工业大学 MBA:弹性学制 2—4 年,全日制 2 年/非全 2.5-4 年),栏目覆盖 MBA/EMBA/MEM/MPAcc/MPA/MF/MLIS/MTA/MAud/DBA,详情页 355 行文本,学费/学制标签命中 4 处;另有《2027全国MBA院校学费汇总》文章:正文 0 表格、63 张图,逐校学费只在图里,298 校(MBA 口径),usable_offtopic,整站只到 院校×MBA 项目 级、无专业代码,学费汇总文章要 OCR,且与在职研之家/EOL/已入库启航高度重叠;当旁证,不进落值链路
专业学位网院校库(yz.zyxw.cn / api.zyxw.cn),https://yz.zyxw.cn/,https://api.zyxw.cn/v1/college/list?page=1&size=5&institution_type=1,是:id 为平台数字主键(清华 3224、北大 3225),page/size 可翻;按学院/专业目录的接口路径未定位(前端路由 /school/details/professional_catalogue 等的真实调用点在未扫到的 chunk 里,猜路径全部 404,已停手不猜),是:api.zyxw.cn/v1/college/list 匿名直出 JSON(data.count + data.items),无需 cookie/签名,院校列表无;逐专业数据未见开放接口,"仅院校主键与属性:id/name/subordinate/nature(双,985,211,自划线,研究生院)/area/type/logo —— 整页无学费、无学制","5 条样例:{""id"":""3224"",""name"":""清华大学"",""nature"":""双,985,211,自划线,研究生院"",""area"":""北京"",""type"":""理工类""}","2,826 校(api.zyxw.cn /v1/college/list 的 data.count 实测值),但可取字段里 0 个学费/学制",usable_offtopic,logo 域名是 yz.yanxian.org → 与今晚已入库的研线网同源,再吃一遍重复风险高;若要用只用它的 id↔校名↔985/211/自划线 作关联旁证,不接学费链路
研招网 院校库 招生章程栏目(listZszc),https://yz.chsi.com.cn/sch/,"https://yz.chsi.com.cn/sch/listZszc--schId-368366,categoryId-10461963,mindex-13,start-0.dhtml",是(schId+categoryId 库内已有 240 对),否,无,只有标题与发布时间(表格:序号/标题/发布时间),标题无 <a> 直链,北京化工大学栏目最新只到 2014 简章、2 行无链接;三峡大学栏目 0 条链接,0(取不到正文),blocked,栏目仍活但已断供正文直链,新 infoId 无法枚举;别在这条路上再花时间。历史 viewZszc URL 可继续用于取旧正文
希赛网 在职研究生频道(educity.cn/zaizhi),https://www.educity.cn/,https://www.educity.cn/zaizhi/,未测(首页层即无数据),未知,未触达,无学费/学制,0,0,no_data,探活脚本判 no_values_here(页面 200 但无数值密度),未见院校维度入口
泰祺教育(tgmba.com),https://www.tgmba.com/,https://www.tgmba.com/,未测,未知,未触达,首页层无学费/学制数值,0,0,no_data,no_values_here;MBA 培训站,学费散在资讯软文
中国高校之窗(gxu211.com),https://www.gxu211.com/,https://www.gxu211.com/,未测,未知,未触达,首页层无学费/学制,0,0,no_data,no_values_here,本科类院校资讯站
优路教育(youlu.com),https://www.youlu.com/,https://www.youlu.com/kaoyan,未测,未知,无(首页 200,120 万字节),无学费/学制数值(no_values_here),0,0,no_data,首页可达但整页是职教导航,非考研学费库
育路教育(yuloo.com),https://www.yuloo.com/,https://www.yuloo.com/zaizhi/,不可达,不可达,TLS SSLV3_ALERT_HANDSHAKE_FAILURE(curl 亦仅 1 字节),无,0,0,blocked,握手层被拒,与既有『育路在职研 bkzzy.com 同类』处置一致,不绕
圣才学习网(100xuexi.com)考研检索,https://www.100xuexi.com/,https://www.100xuexi.com/Ebook/Index.aspx?tk=1,不可达,不可达,http_error(探活返回非 2xx),无,0,0,blocked,题库/电子书站,本无 简章学费 结构化表,不值得继续
1 source_name base_url probe_url school_enumerable has_json_api login_or_anti_bot fields_found sample_rows schools_covered_estimate verdict note
2 EOL考研·在职研究生院校库(kaoyan.eol.cn/zaizhi) https://kaoyan.eol.cn/zaizhi/ https://kaoyan.eol.cn/zaizhi/school-list/mba-0-0-0-0-0/p-1 是:/zaizhi/school/<院校id>/zsxx(实测 id 832/952/1005/1006/1086/1100 均 200 且内容互异);列表页 /school-list/<类别>-<省码>-<学费档>-<学制>-<排序>-<分页>/p-N/,类别仅 5 个(mba/mem/mpa/mpacc/mta,law/edue/med/eng/econ/psy 返 200 空壳) 否:Next.js SSR,学费/学制值直接内联在 HTML(RSC 载荷里也能读到),无独立 JSON 接口 无:无 WAF、无验证码、无签名,GET 直出 200 院校名/学院/专业名称/招生年份/研究方向/学习方式(全日制·非全)/计划招生人数/学制(年)/学费区间(万元)/学费说明(自由文本)/备注 列表页 10 行/页;院校详情 zsxx 表 4-9 行/校(样例:湖南工商大学 MPAcc 7 行;校卡片『学制:2年 学费:3.50万-8.80万 2024 招生:216人』) 卡片合计约 1,220 行(MBA 33页+MEM 22+MPA 29+MPAcc 28+MTA 10,各 20 行/页),去重后约 600-800 校 usable 只覆盖 5 个管理类专硕(在职/非全),不含全日制统考与学术型;卡片带 2024 年标,学费无年份戳,院校详情『学费说明』为自由文本(实测 4 种口径混用:『4.2万/3年』=全程、『14000/年』=年费、『全日制5万/2年』=全程、『2.7万』=裸全程),落值须按 tuition_kind 三分;分页与院校 id 均已用 --diff 验证真生效
3 在职研之家(eduour.com) https://www.eduour.com/ https://www.eduour.com/jianzhang/8-0-0-0-0-1/ 是:/jianzhang/<类型>-<院校id>-<学科id>-<学制>-<待定>-<排序>/p<N>/,同一页导航里出现 470 个院校 id(0=不限,10=天津大学);类型 7=同等学力 8=非全日制 69=在职博士 70=高级研修 71=中外合办 166=国际硕士 167=国际博士;正文页 /xuexiao<院校id>/jianzhang/<文章id>.html 否:纯静态 HTML(表 + 卡片),无 XHR 接口 无:GET 直出 200,无验证码/签名;运营方=北京大成卓立教育科技有限公司(与 eduego 不同域名体系,需按校名去重) 学习方式/专业方向/学科门类/学校/学院/学制(年)/学费(万元,全程)/授课方式/地区;简章正文另有 招生学院、专业代码(6 位,实测 085400/125100/125200/125400)、标准学制、全程总学费(元)、缴费方式、住宿/不提供住宿条款 20 行/页:非全日制 189 页≈3,780 行;不限 284 页≈5,680 行;正文实测 3 篇全含『学制+学费』双字段(天津大学 2027 电子信息非全:学制3年/3.75万;海南大学 2027 MBA:正文『36000元/年』×3年=卡片 10.8万;山东大学药学:学制2年/20000元) 469 校(导航院校维度实测计数),在职/非全口径;2027 简章已在库(标题年份实测含 2027) usable 口径:列表学费=全程总额(= tuition_kind『元/全部』),正文可能写元/年,两者互为乘除,须与 学制 同场才能折年费;粒度是 院校×学院×专业方向,无 xy_id,专业代码只在部分正文出现;不含全日制统考(正是主库 2,337 行全日制空缺的那批)
4 院校自站 2027 简章(研究生院子站 HTML + 学费附表 PDF) 各校 yz./gs./yjs./graduate./portal. 子域 https://yz.scut.edu.cn/zsjz/list.htm 半:文章 URL 形态可辨(RsyqCMS /<yyyymmdd>/c<栏目>a<文章>/page.htm 与 _upload/article/files/*.pdf;info-CMS /info/<栏目>/<文章>.htm),但栏目列表页规律不通用——实测 /zsjz/list.htm 华南理工 200 且列出 2027 章程,深圳大学 404、中国石油 410、兰州大学栏目 412;info-CMS 反推 /info/<栏目>/list.htm 三校全 404 否:静态 HTML/PDF 部分校有 WAF(兰州大学 yz.lzu.edu.cn 栏目页 412);抽样 4/4 简章正文 200 无验证码无登录 简章正文:学费标准(按 学术/专硕 类别 × 全日制/非全 × 定向/非定向,元/人·年)、基本学制与学习年限、住宿费与是否提供住宿、学习方式;华南理工附件 PDF《2027 年硕士研究生招生学费标准、学制一览表》= 研究生类别/单位/收费标准/学制 四列 4 校正文全命中:南方医科大学 6 条学费标准行(8000/12000/16000/18000 元/年)+学制(法硕2年/其余3年);深圳大学 1 条区间(学术8000元/年、专硕1万-2.8万/年、非全2.5万-10万/年)+住宿条款;中山大学 学制(全日制2或3年、非全3年、EMBA2年);华南理工正文无数字、指向 PDF 附件,附件解析出 70 行含学费/学制 库内已有自站简章域名 81 个、标题含 2027 的简章 75 条(简章季刚起步);按既有『子域探测+栏目下钻』流程全量估 300-500 校可直出正文 usable 唯一能给 全日制/学术型 类别级学费 的源(主库空缺集中在 2023-2026 全日制 2,337 行);学费口径=元/学年,落值走 tuition_kind『元/年』;『是否提供住宿』主库暂无列,可作新增字段;务必区分『正文含数字』与『正文只指向附件』(后者需二跳取 _upload/article/files/*.pdf)
5 研招网 招生简章频道(yz.chsi.com.cn/kyzx/zsjz/) https://yz.chsi.com.cn/kyzx/zsjz/ https://yz.chsi.com.cn/kyzx/zsjz/?start=0 是(按文章,不是按院校):?start=N 每页 80 条,实测 start=0 与 start=40 的链接集合交集 40、仅后者新增 40 → 分页真生效;院校维度在 /sch/ 页只给 20 校/页 否:静态 HTML 无:GET 直出,未见签名/验证码 简章全文重印发『十二、学费及奖助政策』『三、基本学制』『(二)住宿费』等章节 累计去重 270 条中 2027 年简章仅 2 条(嘉兴大学、西北民族大学),两条正文都含 学费+学制 章节;管理类联考子频道 glllk/zsjz 最新只到 202510(2026 简章) 当前 2027 覆盖 2/270 ≈ 1%,滞后镜像;历史 viewZszc 正文 URL(库内 2,264 条)今天仍可 200 取正文,但 infoId 无法从栏目页枚举 usable 判 usable 但增量为零:2027 简章以院校自站先发布、CHSI 转载滞后,别把它当 2027 学费的批量入口;真正可用的是『正文可直出』这一点(可作官网之外的第二层存证)
6 MBAChina 院校库(mba.mbachina.com) https://mba.mbachina.com/ https://mba.mbachina.com/college/040d204cf3b3b143972d1035e7096d0d.html 半:首页给出 298 个 /college/<32位hash>.html 链接可翻列表取全,但 hash 与院校代码无关,只能按校名匹配 未见(页面为服务端渲染 HTML,无接口调用点) 无 院校详情含『学制』『学费』字段(实测合肥工业大学 MBA:弹性学制 2—4 年,全日制 2 年/非全 2.5-4 年),栏目覆盖 MBA/EMBA/MEM/MPAcc/MPA/MF/MLIS/MTA/MAud/DBA 详情页 355 行文本,学费/学制标签命中 4 处;另有《2027全国MBA院校学费汇总》文章:正文 0 表格、63 张图,逐校学费只在图里 298 校(MBA 口径) usable_offtopic 整站只到 院校×MBA 项目 级、无专业代码,学费汇总文章要 OCR,且与在职研之家/EOL/已入库启航高度重叠;当旁证,不进落值链路
7 专业学位网院校库(yz.zyxw.cn / api.zyxw.cn) https://yz.zyxw.cn/ https://api.zyxw.cn/v1/college/list?page=1&size=5&institution_type=1 是:id 为平台数字主键(清华 3224、北大 3225),page/size 可翻;按学院/专业目录的接口路径未定位(前端路由 /school/details/professional_catalogue 等的真实调用点在未扫到的 chunk 里,猜路径全部 404,已停手不猜) 是:api.zyxw.cn/v1/college/list 匿名直出 JSON(data.count + data.items),无需 cookie/签名 院校列表无;逐专业数据未见开放接口 仅院校主键与属性:id/name/subordinate/nature(双,985,211,自划线,研究生院)/area/type/logo —— 整页无学费、无学制 5 条样例:{"id":"3224","name":"清华大学","nature":"双,985,211,自划线,研究生院","area":"北京","type":"理工类"} 2,826 校(api.zyxw.cn /v1/college/list 的 data.count 实测值),但可取字段里 0 个学费/学制 usable_offtopic logo 域名是 yz.yanxian.org → 与今晚已入库的研线网同源,再吃一遍重复风险高;若要用只用它的 id↔校名↔985/211/自划线 作关联旁证,不接学费链路
8 研招网 院校库 招生章程栏目(listZszc) https://yz.chsi.com.cn/sch/ https://yz.chsi.com.cn/sch/listZszc--schId-368366,categoryId-10461963,mindex-13,start-0.dhtml 是(schId+categoryId 库内已有 240 对) 否 无 只有标题与发布时间(表格:序号/标题/发布时间),标题无 <a> 直链 北京化工大学栏目最新只到 2014 简章、2 行无链接;三峡大学栏目 0 条链接 0(取不到正文) blocked 栏目仍活但已断供正文直链,新 infoId 无法枚举;别在这条路上再花时间。历史 viewZszc URL 可继续用于取旧正文
9 希赛网 在职研究生频道(educity.cn/zaizhi) https://www.educity.cn/ https://www.educity.cn/zaizhi/ 未测(首页层即无数据) 未知 未触达 无学费/学制 0 0 no_data 探活脚本判 no_values_here(页面 200 但无数值密度),未见院校维度入口
10 泰祺教育(tgmba.com) https://www.tgmba.com/ https://www.tgmba.com/ 未测 未知 未触达 首页层无学费/学制数值 0 0 no_data no_values_here;MBA 培训站,学费散在资讯软文
11 中国高校之窗(gxu211.com) https://www.gxu211.com/ https://www.gxu211.com/ 未测 未知 未触达 首页层无学费/学制 0 0 no_data no_values_here,本科类院校资讯站
12 优路教育(youlu.com) https://www.youlu.com/ https://www.youlu.com/kaoyan 未测 未知 无(首页 200,120 万字节) 无学费/学制数值(no_values_here) 0 0 no_data 首页可达但整页是职教导航,非考研学费库
13 育路教育(yuloo.com) https://www.yuloo.com/ https://www.yuloo.com/zaizhi/ 不可达 不可达 TLS SSLV3_ALERT_HANDSHAKE_FAILURE(curl 亦仅 1 字节) 无 0 0 blocked 握手层被拒,与既有『育路在职研 bkzzy.com 同类』处置一致,不绕
14 圣才学习网(100xuexi.com)考研检索 https://www.100xuexi.com/ https://www.100xuexi.com/Ebook/Index.aspx?tk=1 不可达 不可达 http_error(探活返回非 2xx) 无 0 0 blocked 题库/电子书站,本无 简章学费 结构化表,不值得继续
+137
View File
@@ -0,0 +1,137 @@
# -*- coding: utf-8 -*-
"""按 agent 清单下载名单 PDF 并当场抽出表格 grid 缓存。
清单来自上一轮勘察的 candidates.csv(verdict=usable)。
download.jsp / pdf.js viewer 这类端点裸 GET 会返 HTML,必须带来源页 Referer,
否则会被误判成 dead_link,所以每个请求都回传 page_url 作 Referer。
磁盘紧张:PDF 落盘后只保留 grid 缓存,解析入库完成再决定原件去留。
"""
import csv
import json
import os
import re
import sys
import threading
from concurrent.futures import ThreadPoolExecutor
import urllib3
import fitz
import requests
from requests.exceptions import SSLError
BASE = r'D:/择校/运行暂存/agent_search_20261101/roster_2026'
RAW = os.path.join(BASE, 'downloads')
CACHE = r'D:/择校/运行暂存/agent_ingest_20261101/grid_cache'
MANIFEST = os.path.join(BASE, 'fetch_manifest.csv')
UA = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120 Safari/537.36'}
lock = threading.Lock()
MAX_BYTES = 90 * 1024 * 1024
def slug(school, year, url):
tag = re.sub(r'[^0-9A-Za-z]+', '', school)[:8] or 'x'
return '%s_%s_%s' % (tag, year, re.sub(r'[^0-9A-Za-z]+', '', url)[-10:])
def grid_of(path):
doc = fitz.open(path)
pages = []
for page in doc:
try:
tabs = list(page.find_tables().tables)
except Exception:
tabs = []
g = []
for tb in tabs:
try:
for row in tb.extract():
g.append([('' if c is None else str(c)) for c in row])
except Exception:
continue
if not g:
g = [[l] for l in page.get_text().split('\n') if l.strip()]
pages.append(g)
n = doc.page_count
doc.close()
return pages, n
def get(url, page, insecure):
h = dict(UA)
if page:
h['Referer'] = page
return requests.get(url, headers=h, timeout=45, stream=True, verify=not insecure)
def work(row, budget):
url, page = row['pdf_url'], row['page_url']
name = slug(row['school'], row['year'], url) + '.pdf'
dst = os.path.join(RAW, name)
rec = dict(school=row['school'], year=row['year'], page_url=page, pdf_url=url,
local=name, status='', bytes=0, pages=0, rows=0, note=row['note'][:80])
try:
try:
r = get(url, page, False) # 默认校验证书
except SSLError:
r = get(url, page, True) # 个别院校站证书链不全,单独降级并留痕
rec['note'] = (rec['note'] + ';证书校验降级').strip(';')
if r.status_code != 200:
rec['status'] = 'http_%s' % r.status_code
return rec
with open(dst, 'wb') as f:
tot = 0
for chunk in r.iter_content(65536):
tot += len(chunk)
if tot > budget[0]:
rec['status'] = 'disk_budget_exceeded'
return rec
f.write(chunk)
rec['bytes'] = tot
head = open(dst, 'rb').read(8)
if b'%PDF' not in head:
rec['status'] = 'not_pdf' # 返 HTML 说明端点要会话或跳转
return rec
pages, n = grid_of(dst)
rec['pages'] = n
rec['rows'] = sum(len(g) for g in pages)
os.makedirs(CACHE, exist_ok=True)
with open(os.path.join(CACHE, 'rs26_' + name.rsplit('.', 1)[0] + '.json'),
'w', encoding='utf-8') as f:
json.dump({'file': name, 'pages': pages}, f, ensure_ascii=False)
rec['status'] = 'ok' if rec['rows'] > 5 else 'no_table_rows'
except Exception as e:
rec['status'] = 'err:%s' % type(e).__name__
finally:
with lock:
print('%-12s %-22s %-12s %d B pages=%s rows=%s' % (
rec['status'], rec['school'][:12], rec['year'], rec['bytes'],
rec['pages'], rec['rows']))
return rec
def main():
os.makedirs(RAW, exist_ok=True)
os.makedirs(CACHE, exist_ok=True)
urllib3.disable_warnings()
rows = [r for r in csv.DictReader(open(os.path.join(BASE, 'candidates.csv'), encoding='utf-8-sig'))
if r['verdict'] == 'usable']
print('待取 %d 份' % len(rows))
budget = [MAX_BYTES]
with ThreadPoolExecutor(max_workers=8) as ex:
out = list(ex.map(lambda r: work(r, budget), rows))
with open(MANIFEST, 'w', newline='', encoding='utf-8-sig') as f:
w = csv.DictWriter(f, fieldnames=list(out[0].keys()))
w.writeheader()
w.writerows(out)
ok = [x for x in out if x['status'] == 'ok']
print('成功=%d / %d 合计行数=%d 落盘=%.1fMB' % (
len(ok), len(out), sum(x['rows'] for x in ok),
sum(x['bytes'] for x in out) / 2 ** 20))
for x in out:
if x['status'] != 'ok':
print(' 未成功 %-14s %s %s' % (x['school'][:14], x['status'], x['pdf_url'][:70]))
if __name__ == '__main__':
main()
+3 -1
View File
@@ -9,6 +9,7 @@
import json
import re
import sqlite3
import sys
import time
ZX = r'D:/择校/数据库/zexiao_2027.db'
@@ -58,7 +59,8 @@ def validate(rows):
def main():
src = r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json'
src = sys.argv[1] if len(sys.argv) > 1 else (
r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json')
rows = json.load(open(src, encoding='utf-8'))
for r in rows:
r['note'] = r.get('note', '')
@@ -11,11 +11,18 @@ import json
import os
import re
import statistics
import sys
CACHE = r'D:/择校/运行暂存/agent_ingest_20261031/grid_cache'
MANIFEST = r'D:/择校/运行暂存/official_roster_2025_2026/download_manifest.csv'
OUT = r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json'
DIAG = r'D:/择校/运行暂存/agent_ingest_20261031/orr_diag.txt'
PREFIX = 'orr_*'
# 第二批(agent 清单批量下载)用同一套列语义,只换缓存目录、清单与前缀
if len(sys.argv) > 3:
CACHE, MANIFEST, PREFIX = sys.argv[1], sys.argv[2], sys.argv[3]
OUT = r'D:/择校/运行暂存/agent_ingest_20261101/cand_batch.json'
DIAG = r'D:/择校/运行暂存/agent_ingest_20261101/batch_diag.txt'
CODE_RE = re.compile(r'(?<!\d)(\d{6}|[0-9]{4}[A-Z][0-9]{1,2}|[0-9]{2}[A-Z][0-9]{3,4})(?!\d)')
STU_ID = re.compile(r'(?<!\d)\d{15}(?!\d)')
@@ -93,7 +100,7 @@ def load_manifest():
idx = {}
with open(MANIFEST, encoding='utf-8-sig', newline='') as f:
for r in csv.DictReader(f):
lp = (r.get('local_path') or '').replace('\\', '/')
lp = (r.get('local_path') or r.get('local') or '').replace('\\', '/')
if not lp:
continue
b = os.path.basename(lp)
@@ -118,10 +125,15 @@ def parse(path, midx):
d = json.load(open(path, encoding='utf-8'))
fname = d['file']
man = midx.get(fname) or midx.get(os.path.splitext(fname)[0]) or {}
school, year, kind = man.get('school', ''), man.get('year', ''), man.get('kind', '复试名单')
school, year, kind = (man.get('school') or '', man.get('year') or '',
man.get('kind') or man.get('list_kind') or '复试名单')
if not year:
my = re.search(r'(20\d{2})', fname)
year = my.group(1) if my else ''
if kind == '复试名单' and not man.get('kind'):
u = (fname + (man.get('url') or man.get('page_url') or '')).lower()
if re.search(r'tmnlq|tms|tuimian|推免|免推', u):
kind = '推免拟录取名单'
if not school: # manifest 没覆盖这份,退回标题行与 URL
for g in d['pages'][:1]:
for r in g[:1]:
@@ -277,7 +289,7 @@ def lines_of(rows):
def main():
midx = load_manifest()
all_rows, all_lines, alldiag = [], [], []
for p in sorted(glob.glob(os.path.join(CACHE, 'orr_*.json'))):
for p in sorted(glob.glob(os.path.join(CACHE, PREFIX + '.json'))):
try:
rows, n_thr, meta = parse(p, midx)
except Exception as e:
@@ -288,11 +300,11 @@ def main():
ln = lines_of(rows)
all_rows += agg
all_lines += ln
alldiag.append('%-24s %-14s %-9s 行=%-5d 人数键=%-4d 分数线键=%-4d 门槛行=%d' % (
os.path.basename(p)[4:], meta[0], meta[2], len(rows), len(agg), len(ln), n_thr))
alldiag.append('%-30s %-16s %-9s 行=%-5d 人数键=%-4d 分数线键=%-4d 门槛行=%d' % (
os.path.basename(p)[5:], meta[0], meta[2], len(rows), len(agg), len(ln), n_thr))
with open(OUT, 'w', encoding='utf-8') as f:
json.dump(all_rows, f, ensure_ascii=False, indent=1)
with open(OUT.replace('cand_orr', 'cand_orr_lines'), 'w', encoding='utf-8') as f:
with open(os.path.splitext(OUT)[0] + '_lines.json', 'w', encoding='utf-8') as f:
json.dump(all_lines, f, ensure_ascii=False, indent=1)
with open(DIAG, 'w', encoding='utf-8') as f:
f.write('\n'.join(alldiag))