diff --git a/审计报告/第四批来源勘察_20261101/batch_diag.txt b/审计报告/第四批来源勘察_20261101/batch_diag.txt new file mode 100644 index 000000000..16a883395 --- /dev/null +++ b/审计报告/第四批来源勘察_20261101/batch_diag.txt @@ -0,0 +1,19 @@ +x_2025_2B1253Dpdf.json 青岛科技大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2025_3a3be0fpdf.json 西藏民族大学 复试名单 行=207 人数键=62 分数线键=0 门槛行=0 +x_2025_5E586B5pdf.json 南京医科大学 复试名单 行=102 人数键=12 分数线键=0 门槛行=0 +x_2025_6497ckjpdf.json 自然资源部第三海洋研究所 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2025_B753857pdf.json 河南中医药大学 复试名单 行=128 人数键=28 分数线键=0 门槛行=0 +x_2025_DE8AF95pdf.json 首都师范大学 复试名单 行=1184 人数键=30 分数线键=0 门槛行=0 +x_2026_0E7BABFpdf.json 湘潭大学 复试名单 行=15 人数键=0 分数线键=15 门槛行=0 +x_2026_42D9F8Dpdf.json 浙江理工大学 复试名单 行=3 人数键=2 分数线键=0 门槛行=0 +x_2026_519f9b3pdf.json 北京信息科技大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2026_DE58D95pdf.json 中国音乐学院 复试名单 行=77 人数键=9 分数线键=0 门槛行=0 +x_2026_edd2a1epdf.json 中国食品药品检定研究院 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2027_2027zjtpdf.json 西南财经大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2027_420A3E4pdf.json 中南民族大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2027_94a09f3pdf.json 安徽财经大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2027_963B313pdf.json 曲阜师范大学 复试名单 行=46 人数键=21 分数线键=0 门槛行=0 +x_2027_E779416pdf.json 东北农业大学 复试名单 行=33 人数键=6 分数线键=0 门槛行=0 +x_2027_EB13E68pdf.json 河北农业大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2027_dfff73dpdf.json 北京联合大学 复试名单 行=0 人数键=0 分数线键=0 门槛行=0 +x_2027_tmnlqmdpdf.json 辽宁大学 推免拟录取名单 行=92 人数键=29 分数线键=0 门槛行=0 \ No newline at end of file diff --git a/审计报告/第四批来源勘察_20261101/manifest.json b/审计报告/第四批来源勘察_20261101/manifest.json new file mode 100644 index 000000000..45057e0f9 --- /dev/null +++ b/审计报告/第四批来源勘察_20261101/manifest.json @@ -0,0 +1,25 @@ +{ + "generated_at": "2026-11-01", + "roster26": { + "usable": 19, + "fetched_ok": 17, + "parsed_schools": 9, + "rows_in_db": 199, + "not_parsed": "4 份 find_tables 抽出合并单元格空格、3 份列名不在识别词表", + "flagged": "partial_extract(人数按不合并处理,note 记覆盖率)" + }, + "tuition27": { + "usable": 4, + "key_finding": "学费空值 2398 行集中在 2023-2026 全日制,在职研两源补不到那里;只有院校自站简章能补全日制,且住宿是新字段", + "risk": "两源学费是全程口径且无年份戳,入库前必须与启航/eduego 做同键去重预检" + }, + "files": { + "batch_diag.txt": "204e81326caee678", + "postcheck_batch.txt": "a4822d6a9c2cd6e2", + "roster26_README.md": "95e685a16f594cc6", + "roster26_candidates.csv": "bb0ad5b2f44eb051", + "roster26_fetch_manifest.csv": "0b24fbaff8fd137e", + "tuition27_README.md": "7c389bc703ee588d", + "tuition27_sources.csv": "6e0541644e7fbde1" + } +} \ No newline at end of file diff --git a/审计报告/第四批来源勘察_20261101/postcheck_batch.txt b/审计报告/第四批来源勘察_20261101/postcheck_batch.txt new file mode 100644 index 000000000..b1553e838 --- /dev/null +++ b/审计报告/第四批来源勘察_20261101/postcheck_batch.txt @@ -0,0 +1,18 @@ +=== official_roster_major_stat 入库后核 === +键/校/人 (438, 24, 6207) +类型分布 [('复试名单', 358), ('拟录取名单', 51), ('推免拟录取名单', 29)] +值域异常 0 +带data_flag 19 +空专业键 11 +无 source_url 199 +新增 9 校: ['东北农业大学', '中国音乐学院', '南京医科大学', '曲阜师范大学', '河南中医药大学', '浙江理工大学', '西藏民族大学', '辽宁大学', '首都师范大学'] + +=== official_score_lines 入库后核 === +键/校 (162, 4) +总分线值域 (100, 398) +空线行 0 + +=== 源行数 vs 库内人数对账(抽样 3 校)=== + 首都师范大学 源表行=2264 库内键=30 人数=1184 覆盖=52% + 辽宁大学 源表行=754 库内键=29 人数=92 覆盖=12% + 西藏民族大学 源表行=516 库内键=62 人数=207 覆盖=40% diff --git a/审计报告/第四批来源勘察_20261101/roster26_README.md b/审计报告/第四批来源勘察_20261101/roster26_README.md new file mode 100644 index 000000000..3c01201af --- /dev/null +++ b/审计报告/第四批来源勘察_20261101/roster26_README.md @@ -0,0 +1,53 @@ +# 复试/拟录取名单 PDF 官方直链 扩充勘察(2026/2025) + +> 任务范围:只做「找来源 + 小样本验证」,**不写主库、不改既有数据**。产出 `candidates.csv` + `evidence/`。 +> 时间:2026-11-01。方法承接当晚 `official_roster_major_stat` 的 PDF 抽表验证。 + +## 1. 怎么找来源(入口规律) + +不依赖搜索引擎批量定位(Bing 不稳 / DDG 失效 / 搜狗撞码)。走**主库公告注册表收割直链**这条路,命中率最高、可追溯: + +- `notices_all`(6,987 行):`source='ggyx_api'` 的 `attach` 列直接是 **ggyx OSS 官方附件镜像 PDF 直链**;`title` 含「复试/进入复试/拟录取/最低分」等即名单类公告,`url` 给出院校研究生院页。 +- `notice_files`(1,080 行):`kind='attach' AND url LIKE '%.pdf%'` 给出各校研究生院站**自持直链** + 本地归档路径(`status='ok'` 表示历史成功下载过,本次据此取 URL)。 +- 用标题关键词过滤名单类、排除已入库 14 校(含当晚 attempted 的协和/广外/昆工/国防科大等),得 35 所新校候选,按「硕士2025/2026 > 其他」排优先级,落盘上限 20 份/50MB。 + +**各校 CMS 直链的几种形态**(后续批量可据 URL 正则分类): +| 形态 | 样例域/路径 | 本次结论 | +|---|---|---| +| ggyx OSS 镜像 | `ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/…` | 公开可直下,**最稳**,14 校主力 | +| 尤尼/易维 `__local` | `*/__local////<32HEX>__.pdf` | 河南中医药/曲阜/河北农大/东北农大/中南民族… **可直下** | +| 博达 `/docs/` | `*/docs/YYYY-MM/.pdf` | 北信科/首经贸/北京建筑/外交学院 **可直下** | +| 天翼 `_upload` | `*/_upload/article/files////.pdf` | 东华/上海对外经贸/中国传媒/安徽财经 **可直下** | +| `download.jsp` | `*/system/_content/download.jsp?...wbfileid=` | 吉大可下;协和/广外/昆工裸 GET 返 **HTML**(需 Referer/会话) | +| `downfile.jsp` | `*/module/download/downfile.jsp?filename=` | 北京联合 **可直下** | +| pdf.js `viewer.html?file=` | `*/pdfjs/viewer.html?file=…` | 德州学院/中国计量科学研究院:GET viewer 返 **HTML 预览墙**;但裸 `/__local/` 链可下 | +| 裸文件名 | `*/2027sstmnlqmd.pdf` | 辽宁大学 **可直下** | + +## 2. 验证判据(照当晚教训) + +对每份 PDF:`PyMuPDF.find_tables()` 首屏(扫描至多 5 页)出 ≥1 表;表内命中 **6 位专业代码 `(?承德医学院…pdf`),404,属数据质量非真链失效。 + +`evidence/` 放 4 份首屏即出表的最小代表样例(硕士名单含政治/外语/业务/总分、含 6 位码的硕士拟录取、推免名单);其余只留 `candidates.csv` 探测记录,不存原件(原件已清)。 + +## 4. 下一步批量建议与最大风险 + +优先批量:ggyx OSS + `__local`/`_upload`/`docs` 三类直链命中率高(本次 19/24 命中),建议先跑这些 CMS、以「硕士2025/2026 复试/拟录取」为第一梯队。 + +最大风险(批量前必读): +1. **本地原件不可信**:`notice_files.path` 归档路径多已被清理(本次 52 条仅 5 条在盘),批量必须**重新 GET**,不能复用 path。 +2. **Referer/会话墙易误判**:`download.jsp`、`viewer.html` 裸 GET 返 HTML——要按「非 %PDF → 需带 Referer/预览重定向」处理,勿直接当 dead_link;pdf.js 可试裸 `/__local/` 链绕过。 +3. **公示期无成绩列**:大量「进复试名单」只给姓名+专业,无分数;`official_roster_major_stat` 依赖成绩列,这类要另建「名单人数」口径,不能混入分数统计。 +4. **键规范**:6 位专业码前导零按文本;跨源关联先 NFKC 折 Kangxi 部首,否则静默漏配。 diff --git a/审计报告/第四批来源勘察_20261101/roster26_candidates.csv b/审计报告/第四批来源勘察_20261101/roster26_candidates.csv new file mode 100644 index 000000000..4a0550f2e --- /dev/null +++ b/审计报告/第四批来源勘察_20261101/roster26_candidates.csv @@ -0,0 +1,28 @@ +school,year,page_url,pdf_url,has_table,major_col_found,score_cols_found,rows_sampled,bytes_probe,verdict,note +中国音乐学院,2026,https://yjsy.ccmusic.edu.cn/zsgz/ssyjszs/97b6808e20834d6d973d9e7e781ae55d.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260310/8685bc03270ef1d3634c13809392884a%E4%B8%AD%E5%9B%BD%E9%9F%B3%E4%B9%90%E5%AD%A6%E9%99%A22026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E5%A4%8D%E8%AF%95%E8%80%83%E7%94%9F%E5%90%8D%E5%8D%95.pdf,True,False,"业务课,外语,总分,政治",30,618963,usable,OSS;pages=4;tables=1;ncol=12;name=True;major=False;prof=True;textlen=1947;deg=硕士 +中国食品药品检定研究院,2026,https://www.nifdc.org.cn/nifdc/xxgk/ggtzh/yjshpy/202603131629291959065.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260313/60d8c61f44e7e2a4f7572db01e9572983d536ab4-753e-492f-8ff4-2dd97edd2a1e.pdf,True,False,"业务课,总分",7,43302,usable,OSS;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=289;deg=硕士 +南京医科大学,2025,,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250918/992c1388ba9256cacb7778d80e1834bf2025%E5%B9%B4%E5%8D%97%E4%BA%AC%E5%8C%BB%E7%A7%91%E5%A4%A7%E5%AD%A6%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E5%90%84%E4%B8%93%E4%B8%9A%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95%E6%9C%80%E4%BD%8E%E5%88%86%E6%83%85%E5%86%B5.pdf,True,True,,45,107070,usable,OSS;pages=7;tables=1;ncol=10;name=False;major=True;prof=True;textlen=2656;deg=硕士 +河南中医药大学,2025,https://yjsy.hactcm.edu.cn/info/1121/53661.htm,https://yjsy.hactcm.edu.cn/__local/6/7F/3E/5920EA89A98FBD370365E2D63F5_D1F9CEB7_53857.pdf,True,True,总分,78,342103,usable,REG;pages=18;tables=1;ncol=10;name=True;major=True;prof=True;textlen=4575;deg=硕士 +浙江理工大学,2026,https://gradadmission.zstu.edu.cn/info/1011/3255.htm,http://gradadmission.zstu.edu.cn/__local/F/35/C9/8D037BDB3E29DF13ACB332E8385_E6F6142D_9F8D.pdf,True,False,总分,3,40845,usable,REG;pages=1;tables=1;ncol=8;name=True;major=False;prof=True;textlen=192;deg=硕士 +湘潭大学,2026,https://yjsc.xtu.edu.cn/info/1084/9758.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260316/74f4df73b02d15d572349001caae81b3%E6%B9%98%E6%BD%AD%E5%A4%A7%E5%AD%A62026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E8%80%83%E7%94%9F%E8%BF%9B%E5%85%A5%E5%A4%8D%E8%AF%95%E5%88%86%E6%95%B0%E7%BA%BF.pdf,True,True,总分,15,64369,usable,OSS;pages=1;tables=1;ncol=6;name=False;major=True;prof=True;textlen=480;deg=硕士 +自然资源部第三海洋研究所,2025,http://www.tio.org.cn/OWUP/html/zyml.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/63d758afa7bd849ad56b04076707e6e4130856497ckj.pdf,True,False,"业务课,外语,总分,政治",24,69540,usable,OSS;pages=1;tables=1;ncol=11;name=True;major=False;prof=True;textlen=1710;deg=硕士 +西藏民族大学,2025,https://www1.xzmu.edu.cn/yjsc/getcontent?id=93528&url=show,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/b1ad42de6328cb5bb12edfbf41d248268b964473-5b6a-4317-8289-646e93a3be0f.pdf,True,True,"业务课,总分,政治",27,198566,usable,OSS;pages=14;tables=1;ncol=10;name=True;major=True;prof=True;textlen=1302;deg=硕士 +青岛科技大学,2025,https://yzs.qust.edu.cn/info/1090/1637.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/cf597396848c84e30f06d6f20aa6171cD9D69DACBA211D1E211D80B0B8B_6448D72B_1253D.pdf,True,True,总分,37,75069,usable,OSS;pages=2;tables=1;ncol=5;name=False;major=True;prof=False;textlen=1443;deg=硕士 +首都师范大学,2025,https://grad.cnu.edu.cn/zs1/sszs/38b89939dbd14656a716532a088d3424.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/6439fbe1f9afba020fe112a5b9daba63%E5%A4%8D%E8%AF%95.pdf,True,False,"业务课,外语,总分,政治",40,1060505,usable,OSS;pages=47;tables=1;ncol=9;name=True;major=False;prof=False;textlen=1749;deg=硕士 +西南财经大学,2027,https://yz.swufe.edu.cn/info/1101/13311.htm,https://yzcx.swufe.edu.cn/chaxun/yzb/tms/2027/02fs/2027zjt.pdf,True,True,,20,48041,usable,REG;pages=1;tables=1;ncol=6;name=False;major=True;prof=False;textlen=1340;deg=硕士 +上海政法学院,2027,https://www.shupl.edu.cn/yjsc/2025/0314/c4919a137902/page.htm,https://www.shupl.edu.cn/_upload/article/files/7b/e3/8e6f38a84d7f946300f1e150903d/12a90374-a167-4a0a-8317-e2fa86b25011.pdf,True,False,,32,171628,no_table,REG;pages=15;tables=1;ncol=4;name=True;major=False;prof=False;textlen=1401;deg=推免 +东北农业大学,2027,http://graduate.neau.edu.cn/index/tzgg.htm,https://graduate.neau.edu.cn/__local/A/4B/20/3BF6C167E6D42C566A16E96DE88_2654B3E7_79416.pdf,True,True,,31,496662,usable,REG;pages=17;tables=1;ncol=6;name=True;major=True;prof=True;textlen=1673;deg=推免 +东华大学,2026,https://yjszs.dhu.edu.cn/2026/0710/c7126a378345/page.htm,https://yjszs.dhu.edu.cn/_upload/article/files/3b/86/1259a04448abbb4041da05fbd3d1/3c29921b-2094-410a-8e20-36df09921516.pdf,True,False,,27,156847,no_table,REG;pages=7;tables=1;ncol=8;name=True;major=False;prof=True;textlen=1404;deg=博士 +中南民族大学,2027,https://www.scuec.edu.cn/literature/info/1066/5873.htm,https://www.scuec.edu.cn/__local/0/F6/93/382D6981995BA6078348B033314_931BF420_A3E4.pdf,True,True,,10,41956,usable,REG;pages=1;tables=1;ncol=6;name=True;major=True;prof=True;textlen=312;deg=推免 +中国传媒大学,2027,https://yz.cuc.edu.cn/2025/0314/c8543a252037/page.htm,https://yz.cuc.edu.cn/_upload/article/files/aa/0f/806b7737455aaa6c9a146393ec8f/e06ffb76-5285-4ff0-a048-7ed68b230860.pdf,True,False,,56,454448,no_table,REG;pages=48;tables=1;ncol=5;name=True;major=False;prof=False;textlen=897;deg=推免 +中国环境科学研究院,2026,https://www.craes.cn/yjsy_sy/djyw/djyw_tzgg/202603/t20260313_1146486.html,https://www.craes.cn/yjsy_sy/zsjy/zsjy_ssszs/202606/W020260615630755018270.pdf,True,False,,1,51833,no_table,REG;pages=1;tables=1;ncol=4;name=True;major=False;prof=False;textlen=63;deg=博士 +北京信息科技大学,2026,https://jsjxy.bistu.edu.cn/tzgg/c2c80b2ac5194201937555238c5f6708.html,https://yanjiusheng.bistu.edu.cn/docs/2026-06/9c9655a2fc494da1bd6a7bfa9519f9b3.pdf,True,True,总分,21,331880,usable,REG;pages=8;tables=1;ncol=11;name=False;major=True;prof=True;textlen=2135;deg=博士 +安徽财经大学,2027,https://yz.aufe.edu.cn/2024/1004/c5384a223904/page.htm,https://yz.aufe.edu.cn/_upload/article/files/09/98/3d45062941f190a75e252e7e3b71/e06465a1-1594-469d-b46b-3ed6694a09f3.pdf,True,True,总分,26,64466,usable,local-cached;pages=1;tables=1;ncol=9;name=True;major=True;prof=True;textlen=1504;deg=推免 +曲阜师范大学,2027,https://yjs.qfnu.edu.cn/info/1044/5325.htm,https://yjs.qfnu.edu.cn/__local/1/E7/DD/19F87AD4F3FA6F1A5D2B37199B0_43475F96_3B313.pdf,True,True,总分,28,242451,usable,local-cached;pages=6;tables=1;ncol=7;name=True;major=True;prof=True;textlen=923;deg=推免 +河北农业大学,2027,https://yanjiusheng.hebau.edu.cn/info/1110/4344.htm,https://yanjiusheng.hebau.edu.cn/__local/D/9E/39/A2B36B90B766927F89B1AF480BF_EF6696EB_13E68.pdf,True,False,总分,14,81512,usable,local-cached;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=658;deg=推免 +辽宁大学,2027,https://grs.lnu.edu.cn/info/12169/71936.htm,https://grs.lnu.edu.cn/2027sstmnlqmd.pdf,True,True,政治,42,316372,usable,local-cached;pages=11;tables=1;ncol=11;name=True;major=True;prof=True;textlen=2767;deg=推免 +德州学院,2026,https://xkjsyjsc.dzu.edu.cn/system/resource/pdfjs/viewer.html?file=/__local/9/5D/94/75B4883D73C717DB2142D507D0B_65051C83_B48BE.pdf,https://xkjsyjsc.dzu.edu.cn/__local/9/5D/94/75B4883D73C717DB2142D507D0B_65051C83_B48BE.pdf,False,False,,0,739518,scanned_no_text,REG-DZU;pages=1;name=False;major=False;prof=False;textlen=0;deg=硕士 +上海对外经贸大学,2027,https://www.suibe.edu.cn/yjsy/2026/0915/c23745a199617/page.htm,https://www.suibe.edu.cn/_upload/article/files/81/ee/157fd72b46579eaa371a201fd7fe/f009c4a4-cc56-47c7-8c17-a4abb74cb1fc.pdf,False,False,,0,90036,no_table,REG-SUIBE;pages=1;name=False;major=False;prof=False;textlen=438;deg=推免 +北京联合大学,2027,http://grs.buu.edu.cn/,https://adc.buu.edu.cn/module/download/downfile.jsp?classid=0&filename=d94726f109b84f25b4507dadadfff73d.pdf,True,True,,1,48851,usable,REG-BUU;pages=1;name=True;major=True;prof=True;textlen=116;deg=推免 +承德医学院,2026,https://yjs.cdmc.edu.cn/,https://yjs.cdmc.edu.cn/>%E6%89%BF%E5%BE%B7%E5%8C%BB%E5%AD%A6%E9%99%A2C%E8%AF%AD%E8%A8%80.pdf,,,,,196,dead_link,REG-CDMC; HTTP 404 +中国计量科学研究院,2027,https://www.nim.ac.cn/,https://www.nim.ac.cn/libraries/pdf.js/web/viewer.html?file=%2Fsites%2Fdefault%2Ffiles%2Fpdf%2F2026-09%2Fzhongguojiliangkexueyanjiuyuan2027niantuimianzhaoshenggongzuobanfa_0.pdf,,,,,21686,captcha_or_login,"REG-NIM; GET viewer.html 返回 text/html (Mozilla pdf.js 预览壳, 非PDF); file= 指向的实为2027推免招生办办法, 非名单; 如实记未取到, 不绕" diff --git a/审计报告/第四批来源勘察_20261101/roster26_fetch_manifest.csv b/审计报告/第四批来源勘察_20261101/roster26_fetch_manifest.csv new file mode 100644 index 000000000..ab62369ac --- /dev/null +++ b/审计报告/第四批来源勘察_20261101/roster26_fetch_manifest.csv @@ -0,0 +1,20 @@ +school,year,page_url,pdf_url,local,status,bytes,pages,rows,note +中国音乐学院,2026,https://yjsy.ccmusic.edu.cn/zsgz/ssyjszs/97b6808e20834d6d973d9e7e781ae55d.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260310/8685bc03270ef1d3634c13809392884a%E4%B8%AD%E5%9B%BD%E9%9F%B3%E4%B9%90%E5%AD%A6%E9%99%A22026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E5%A4%8D%E8%AF%95%E8%80%83%E7%94%9F%E5%90%8D%E5%8D%95.pdf,x_2026_DE58D95pdf.pdf,ok,618963,4,124,OSS;pages=4;tables=1;ncol=12;name=True;major=False;prof=True;textlen=1947;deg=硕士 +中国食品药品检定研究院,2026,https://www.nifdc.org.cn/nifdc/xxgk/ggtzh/yjshpy/202603131629291959065.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260313/60d8c61f44e7e2a4f7572db01e9572983d536ab4-753e-492f-8ff4-2dd97edd2a1e.pdf,x_2026_edd2a1epdf.pdf,ok,43302,1,8,OSS;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=289;deg=硕士 +南京医科大学,2025,,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250918/992c1388ba9256cacb7778d80e1834bf2025%E5%B9%B4%E5%8D%97%E4%BA%AC%E5%8C%BB%E7%A7%91%E5%A4%A7%E5%AD%A6%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E5%90%84%E4%B8%93%E4%B8%9A%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95%E6%9C%80%E4%BD%8E%E5%88%86%E6%83%85%E5%86%B5.pdf,x_2025_5E586B5pdf.pdf,ok,107070,7,400,OSS;pages=7;tables=1;ncol=10;name=False;major=True;prof=True;textlen=2656;deg=硕士 +河南中医药大学,2025,https://yjsy.hactcm.edu.cn/info/1121/53661.htm,https://yjsy.hactcm.edu.cn/__local/6/7F/3E/5920EA89A98FBD370365E2D63F5_D1F9CEB7_53857.pdf,x_2025_B753857pdf.pdf,ok,342103,18,1656,REG;pages=18;tables=1;ncol=10;name=True;major=True;prof=True;textlen=4575;deg=硕士 +浙江理工大学,2026,https://gradadmission.zstu.edu.cn/info/1011/3255.htm,http://gradadmission.zstu.edu.cn/__local/F/35/C9/8D037BDB3E29DF13ACB332E8385_E6F6142D_9F8D.pdf,x_2026_42D9F8Dpdf.pdf,no_table_rows,40845,1,4,REG;pages=1;tables=1;ncol=8;name=True;major=False;prof=True;textlen=192;deg=硕士 +湘潭大学,2026,https://yjsc.xtu.edu.cn/info/1084/9758.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260316/74f4df73b02d15d572349001caae81b3%E6%B9%98%E6%BD%AD%E5%A4%A7%E5%AD%A62026%E5%B9%B4%E5%85%A8%E5%9B%BD%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E8%80%83%E7%94%9F%E8%BF%9B%E5%85%A5%E5%A4%8D%E8%AF%95%E5%88%86%E6%95%B0%E7%BA%BF.pdf,x_2026_0E7BABFpdf.pdf,ok,64369,1,16,OSS;pages=1;tables=1;ncol=6;name=False;major=True;prof=True;textlen=480;deg=硕士 +自然资源部第三海洋研究所,2025,http://www.tio.org.cn/OWUP/html/zyml.html,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/63d758afa7bd849ad56b04076707e6e4130856497ckj.pdf,x_2025_6497ckjpdf.pdf,ok,69540,1,25,OSS;pages=1;tables=1;ncol=11;name=True;major=False;prof=True;textlen=1710;deg=硕士 +西藏民族大学,2025,https://www1.xzmu.edu.cn/yjsc/getcontent?id=93528&url=show,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/b1ad42de6328cb5bb12edfbf41d248268b964473-5b6a-4317-8289-646e93a3be0f.pdf,x_2025_3a3be0fpdf.pdf,ok,198566,14,516,OSS;pages=14;tables=1;ncol=10;name=True;major=True;prof=True;textlen=1302;deg=硕士 +青岛科技大学,2025,https://yzs.qust.edu.cn/info/1090/1637.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/cf597396848c84e30f06d6f20aa6171cD9D69DACBA211D1E211D80B0B8B_6448D72B_1253D.pdf,x_2025_2B1253Dpdf.pdf,ok,75069,2,96,OSS;pages=2;tables=1;ncol=5;name=False;major=True;prof=False;textlen=1443;deg=硕士 +首都师范大学,2025,https://grad.cnu.edu.cn/zs1/sszs/38b89939dbd14656a716532a088d3424.htm,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250313/6439fbe1f9afba020fe112a5b9daba63%E5%A4%8D%E8%AF%95.pdf,x_2025_DE8AF95pdf.pdf,ok,1060505,47,2264,OSS;pages=47;tables=1;ncol=9;name=True;major=False;prof=False;textlen=1749;deg=硕 +西南财经大学,2027,https://yz.swufe.edu.cn/info/1101/13311.htm,https://yzcx.swufe.edu.cn/chaxun/yzb/tms/2027/02fs/2027zjt.pdf,x_2027_2027zjtpdf.pdf,ok,48041,1,21,REG;pages=1;tables=1;ncol=6;name=False;major=True;prof=False;textlen=1340;deg=硕士 +东北农业大学,2027,http://graduate.neau.edu.cn/index/tzgg.htm,https://graduate.neau.edu.cn/__local/A/4B/20/3BF6C167E6D42C566A16E96DE88_2654B3E7_79416.pdf,x_2027_E779416pdf.pdf,ok,496662,17,755,REG;pages=17;tables=1;ncol=6;name=True;major=True;prof=True;textlen=1673;deg=推免 +中南民族大学,2027,https://www.scuec.edu.cn/literature/info/1066/5873.htm,https://www.scuec.edu.cn/__local/0/F6/93/382D6981995BA6078348B033314_931BF420_A3E4.pdf,x_2027_420A3E4pdf.pdf,ok,41956,1,11,REG;pages=1;tables=1;ncol=6;name=True;major=True;prof=True;textlen=312;deg=推免 +北京信息科技大学,2026,https://jsjxy.bistu.edu.cn/tzgg/c2c80b2ac5194201937555238c5f6708.html,https://yanjiusheng.bistu.edu.cn/docs/2026-06/9c9655a2fc494da1bd6a7bfa9519f9b3.pdf,x_2026_519f9b3pdf.pdf,ok,331880,8,475,REG;pages=8;tables=1;ncol=11;name=False;major=True;prof=True;textlen=2135;deg=博士 +安徽财经大学,2027,https://yz.aufe.edu.cn/2024/1004/c5384a223904/page.htm,https://yz.aufe.edu.cn/_upload/article/files/09/98/3d45062941f190a75e252e7e3b71/e06465a1-1594-469d-b46b-3ed6694a09f3.pdf,x_2027_94a09f3pdf.pdf,ok,64466,1,27,local-cached;pages=1;tables=1;ncol=9;name=True;major=True;prof=True;textlen=1504 +曲阜师范大学,2027,https://yjs.qfnu.edu.cn/info/1044/5325.htm,https://yjs.qfnu.edu.cn/__local/1/E7/DD/19F87AD4F3FA6F1A5D2B37199B0_43475F96_3B313.pdf,x_2027_963B313pdf.pdf,ok,242451,6,164,local-cached;pages=6;tables=1;ncol=7;name=True;major=True;prof=True;textlen=923; +河北农业大学,2027,https://yanjiusheng.hebau.edu.cn/info/1110/4344.htm,https://yanjiusheng.hebau.edu.cn/__local/D/9E/39/A2B36B90B766927F89B1AF480BF_EF6696EB_13E68.pdf,x_2027_EB13E68pdf.pdf,ok,81512,1,15,local-cached;pages=1;tables=1;ncol=7;name=True;major=False;prof=True;textlen=658 +辽宁大学,2027,https://grs.lnu.edu.cn/info/12169/71936.htm,https://grs.lnu.edu.cn/2027sstmnlqmd.pdf,x_2027_tmnlqmdpdf.pdf,ok,316372,11,754,local-cached;pages=11;tables=1;ncol=11;name=True;major=True;prof=True;textlen=27 +北京联合大学,2027,http://grs.buu.edu.cn/,https://adc.buu.edu.cn/module/download/downfile.jsp?classid=0&filename=d94726f109b84f25b4507dadadfff73d.pdf,x_2027_dfff73dpdf.pdf,no_table_rows,48851,1,2,REG-BUU;pages=1;name=True;major=True;prof=True;textlen=116;deg=推免 diff --git a/审计报告/第四批来源勘察_20261101/tuition27_README.md b/审计报告/第四批来源勘察_20261101/tuition27_README.md new file mode 100644 index 000000000..5fe7e1e87 --- /dev/null +++ b/审计报告/第四批来源勘察_20261101/tuition27_README.md @@ -0,0 +1,99 @@ +# 2027 招生简章 学费 / 学制 批量来源勘察(2026-11-01,只读,未写库) + +约束回放:全程只读 GET(含探活脚本,method 不可配置),未碰注销类接口,未绕验证码/登录墙,未用 POST 试未知端点;`数据库\zexiao_2027.db`、`脚本\`、`docs\` 均未改动;本目录实测落盘 1.4 MB(上限 50 MB)。 + +判据口径:四判据(静态直出 / URL 可按院校枚举 / 有无 JSON 接口 / 登录墙与反爬)逐条判,结论落在 `sources.csv` 的 `verdict` 列(usable / usable_offtopic / blocked / dead / no_data)。`usable_offtopic` 指取得到内容但整页没有考研学费学制字段,不算可用。 + +--- + +## 一、值得接进落值链路的源(3 个) + +### 1. 在职研之家 eduour.com —— 学费+学制双字段直出,规模最大 + +- 列表:`https://www.eduour.com/jianzhang/<类型>-<院校id>-<学科id>-<学制>-<待定>-<排序>/p/` + - 类型实测取值:7=同等学力、8=非全日制、69=在职博士、70=高级研修、71=中外合办、166=国际硕士、167=国际博士、0=不限 + - 分页真生效(`/p2/` 与 `/p1/` 的文章 id 集合几乎不重叠);非全 189 页、不限 284 页,每页 20 行 → 非全 ≈3,780 行、全类型 ≈5,680 行 + - 列表行字段:学习方式 | 专业方向 | 学科门类 | 学校 | 学院 | 学制(年) | 学费(万元) | 授课方式 | 地区 + - 院校维度可直接从同一页导航收割:**470 个院校 id**(0=不限,10=天津大学,24=山东大学,95/100/114/15…)→ 可按 `xuexiao` 枚举,无需猜键 +- 正文:`/xuexiao<院校id>/jianzhang/<文章id>.html`,抽样 3 篇均含 学费+学制;两篇是 **2027 简章**(天津大学 2027 电子信息非全、海南大学 2027 MBA),一篇是 2026 在职研简章 +- 另有 学费资讯表:`/xuexiao384/zhaosheng/60870.html` 的三列表格里出现 **专业代码 085406 控制工程 + 标准学制 3 年 + 全程总学费 36000 元** —— 这是本批唯一「代码级 + 全程额 + 学制」同场的形态,最适合直接落 `tuition_total` + +关联键:`学校名`(→ `dim_school_id_map` 归一到 `xy_id`)+ `学院` + `专业方向/专业名称`;正文里出现的专业代码按文本处理(保留前导零,别剥字母)。**没有 xy_id**,跨院系同名专业必须带学院做第三键,否则会按项目规则放大。 + +### 2. EOL 考研·在职研究生院校库 kaoyan.eol.cn/zaizhi —— 结构化最干净 + +- 列表:`/zaizhi/school-list/<类别>-<省码>-<学费档>-<学制>-<排序>/p-N/`,**类别只有 5 个**:mba / mem / mpa / mpacc / mta(law、edue、med、eng、econ、psy 都返 200 但是空壳 —— 属源侧真空,别再改参数) +- 卡片:`学制:2年 学费:3.50万-8.80万 2024 招生:216人`;页码参数与院校 id 都已用 `probe_source.py --diff` 证明生效(p1/p2 指纹不同、school 1005/1006 指纹不同) +- 详情:`/zaizhi/school/<院校id>/zsxx` 表格列为 专业名称|招生年份|研究方向|学习方式|计划招生人数|备注,另带「学制说明」「学费说明」两个自由文本字段;院校 id 实测 832/952/1005/1006/1086/1100 均 200 +- 数据量:5 类共 33+22+29+28+10=122 页 ≈ 1,220 张卡片,去重后 600–800 校 + +关联键:同 eduour(校名 + 学院 + 专业名)。与 eduour 覆盖面重叠大(都是在职/非全专硕),**净新增有限,取其一即可,优先 eduour**(字段更细、含 2027 简章正文与专业代码)。 + +### 3. 院校自站 2027 简章正文 + 学费附表 PDF —— 唯一能给全日制/学术型的源 + +抽样 4 所(2027 简章均已发布,正文 HTML 直出,无登录): + +| 校 | 学费 | 学制 | 住宿 | +|---|---|---|---| +| 南方医科大学 `portal.smu.edu.cn/yzw/info/1002/12431.htm` | 6 条类别级标准:学术 8000、临床口腔中医专硕 16000、生医工/公卫/应统/心理/护理/药学 12000、法硕/MPA 等 18000(元/人·年) | 法硕 2 年,其余 3 年,最长 5 年 | 有「(二)住宿费」章节 | +| 深圳大学 `yz.szu.edu.cn/info/1006/15466.htm` | 学术 8000 元/年;全日制专硕 10000–28000 元/年;非全专硕 25000–100000 元/年 | 学术 3 年;专硕 3 年(翻译/工商 2 年,国际商务非全 2.5 年) | 明确「非全日制及定向研究生不提供住宿」 | +| 华南理工 `yz.scut.edu.cn/2026/0930/c30108a636831/page.htm` | 正文只写「学费标准及学制见附件」→ 二跳取 `/_upload/article/files/…/.pdf`,PyMuPDF 抽出《2027 年硕士研究生招生学费标准、学制一览表》:2 页 279 行,70 行含学费或学制,列为 研究生类别|单位(元/生•学年)|收费标准|学制 | 同表 | 有(定向/非全不安排住宿) | +| 中山 `graduate.sysu.edu.cn/zsw/article/541` | 正文无数字 | 全日制 2 或 3 年,非全 3 年(EMBA 2 年) | 无 | + +批量入口结论(重要,别当已解决):**文章 URL 形态可辨但栏目列表页不可统一反推**。实测 RsyqCMS 的 `//c<栏目>a<文章>/page.htm` 对应列表页 `/zsjz/list.htm` 在华工 200(且列出 2027 章程),在深圳大学 404、在中国石油 410;info-CMS 由文章 URL 反推的 `/info/<栏目>/list.htm` 三校全 404;兰州大学栏目页 412(WAF)。所以这条只能沿用既有的「子域探测 + 栏目下钻」,不能用一条规律批量拼。 + +关联键:`校名(分校区不折叠:矿大徐州/北京、地大北京/武汉、石油北京/华东、华电/保定各自独立)` → `dim_school_id_map` → `xy_id`;类别级标准落到专业行时按「学术/专硕 × 全日制/非全 × 定向/非定向」分档复制,**全校合计不得复制进同校多个学院行**(项目口径:粒度不可跨级混)。 + +--- + +## 二、判 usable 但增量为零 / 只作存证的源 + +- **研招网 简章频道 `yz.chsi.com.cn/kyzx/zsjz/?start=N`**:静态直出、`start` 分页真生效(start=0 与 start=40 交集 40、新增 40)、无登录墙,正文是简章全文重印(实测「十二、学费及奖助政策」「(一)学费」「三、基本学制」章节俱在)。但**累计 270 条里 2027 年简章只有 2 条**(嘉兴大学、西北民族大学),管理类联考子频道 `glllk/zsjz` 最新停在 202510(=2026 简章)。结论:CHSI 转载滞后于院校自站,2027 学费不能指望它当批量入口;它的价值是自站之外的第二层存证。 +- **研招网 院校库 招生章程栏目 `listZszc--schId-*,categoryId-*`**:栏目页 200,但表格里只有 序号|标题|发布时间,**标题不带 `` 直链**(北京化工大学最新只到 2014,三峡大学 0 条链接)→ 新 `infoId` 无法枚举,判 blocked。库内 2,264 条历史 `viewZszc` URL 今天仍能 200 取正文(已用三峡大学 2021 简章验证),所以旧正文可继续用,别再去啃栏目页。 + +## 三、明确不投入的(含 2 个 usable_offtopic) + +| 源 | 结论 | +|---|---| +| 专业学位网 `yz.zyxw.cn` / `api.zyxw.cn` | 匿名 JSON 真存在:`/v1/college/list?page&size&institution_type` 返 200,`data.count=2826`,字段 id/name/subordinate/nature(双,985,211,自划线,研究生院)/area/type —— **整页 0 个学费学制字段**,判 usable_offtopic。逐专业接口未定位:前端路由 `/school/details/professional_catalogue` 等,其数据由客户端异步加载,入口 JS 与已扫 12 个 chunk 里没有 `/v1|/v2` 调用串,直接猜路径(`/v1/college/details`、`/professional_catalogue`、`/scholl_rules`、`/reporting_ratio`)**全部 404**,按纪律立即停手不再猜。另:其 logo 域名是 `yz.yanxian.org`,与今晚已入库的研线网同源,重复风险高。若要院校旁证(985/211/自划线)可用它,但不接学费链路。 | +| MBAChina `mba.mbachina.com` | 院校详情页确有 学制/学费 标签(合工大 MBA:弹性学制 2—4 年),首页可收割 298 个 `/college/<32位hash>.html`,但 hash 与院校代码无对应关系,只能按校名匹配;《2027全国MBA院校学费汇总》文章正文 **0 表格、63 张图**,逐校数值在图里。且与 eduour/EOL/已入库启航重叠。判 usable_offtopic,只当旁证。 | +| 希赛 educity.cn/zaizhi、泰祺 tgmba.com、高校之窗 gxu211.com、优路 youlu.com | 页面 200 但整页无学费学制数值(no_values_here)→ no_data | +| 育路 yuloo.com | TLS `SSLV3_ALERT_HANDSHAKE_FAILURE`,curl 仅 1 字节 → blocked(与 bkzzy 同类,不绕) | +| 圣才 100xuexi.com 考研检索 | http_error,且本站本无简章结构化表 → blocked | + +已判定不可用与今晚已吃过的源(考研派/文都/海文/考研帮/学位网;研线网、eduego、exam8、51test、启航、高顿;以及 search_round4/five_sources 那批)本轮没有重复勘察。 + +--- + +## 四、口径注意(必须照 `docs\审计口径规范.md` 走) + +1. **学费双语义并存,且同站内混写**。eduour / EOL 的**列表学费一律是全程总额**(万元),对应 `tuition_kind=元/全部`,须按 学制 折年费才能和 `tuition_year` 对齐;正文里又常写「36000元/年」(=年费)。实测海南大学 2027 MBA:卡片 10.8 万 = 正文 36000 元/年 × 3 年 —— 两种口径必须分列,不许合并成一条。EOL「学费说明」自由文本实测有 4 种形态:`4.2万/3年`(全程)、`14000/年`(年费)、`全日制5万/2年`(全程)、`2.7万`(裸全程)。 +2. **区间值是常态**:深圳大学「专硕 10000-28000 元/年」、EOL 卡片「3.50万-8.80万」。区间不能取均值落 `tuition_year`;按项目规则只能进摘录列,或拆成 `duration_min/max` 式的 `tuition_min/max`,与单值分列。 +3. **类别级 ≠ 专业级**:自站简章给的通常是「学术/专硕 × 全日制/非全 × 定向」的类别级标准(华南工附表连「少数民族骨干计划」「单独考试」都单列)。把它复制进同校多个专业行属跨级复制,需按类别精确匹配后落,并标注「推导值(类别级标准 × 本行类别)」。 +4. **学费数值没有年份戳**:EOL 卡片挂着「2024」标签、正文写「2021年学费为4.2万/3年」。凡按这些源落值,`year` 只能取源文自身标出的年份,不得当成 2027。 +5. **住宿是新字段**:主库 `pd_dir_detail` 无住宿列(已实测 pragma),而 4 所自站简章里 3 所给出住宿条款(深大「非全日制及定向不提供住宿」、华工「全日制定向及非全日制不安排住宿」)。要吃得先建表并登记 `dim_table_meta`。 +6. **专业代码按文本**:在职研站只有部分正文出现 6 位码(实测 085400/125100/125200/125400/085406),一律前导零保留、禁止剥字母;`(?/zsxx(实测 id 832/952/1005/1006/1086/1100 均 200 且内容互异);列表页 /school-list/<类别>-<省码>-<学费档>-<学制>-<排序>-<分页>/p-N/,类别仅 5 个(mba/mem/mpa/mpacc/mta,law/edue/med/eng/econ/psy 返 200 空壳),否:Next.js SSR,学费/学制值直接内联在 HTML(RSC 载荷里也能读到),无独立 JSON 接口,无:无 WAF、无验证码、无签名,GET 直出 200,院校名/学院/专业名称/招生年份/研究方向/学习方式(全日制·非全)/计划招生人数/学制(年)/学费区间(万元)/学费说明(自由文本)/备注,列表页 10 行/页;院校详情 zsxx 表 4-9 行/校(样例:湖南工商大学 MPAcc 7 行;校卡片『学制:2年 学费:3.50万-8.80万 2024 招生:216人』),"卡片合计约 1,220 行(MBA 33页+MEM 22+MPA 29+MPAcc 28+MTA 10,各 20 行/页),去重后约 600-800 校",usable,只覆盖 5 个管理类专硕(在职/非全),不含全日制统考与学术型;卡片带 2024 年标,学费无年份戳,院校详情『学费说明』为自由文本(实测 4 种口径混用:『4.2万/3年』=全程、『14000/年』=年费、『全日制5万/2年』=全程、『2.7万』=裸全程),落值须按 tuition_kind 三分;分页与院校 id 均已用 --diff 验证真生效 +在职研之家(eduour.com),https://www.eduour.com/,https://www.eduour.com/jianzhang/8-0-0-0-0-1/,是:/jianzhang/<类型>-<院校id>-<学科id>-<学制>-<待定>-<排序>/p/,同一页导航里出现 470 个院校 id(0=不限,10=天津大学);类型 7=同等学力 8=非全日制 69=在职博士 70=高级研修 71=中外合办 166=国际硕士 167=国际博士;正文页 /xuexiao<院校id>/jianzhang/<文章id>.html,否:纯静态 HTML(表 + 卡片),无 XHR 接口,无:GET 直出 200,无验证码/签名;运营方=北京大成卓立教育科技有限公司(与 eduego 不同域名体系,需按校名去重),学习方式/专业方向/学科门类/学校/学院/学制(年)/学费(万元,全程)/授课方式/地区;简章正文另有 招生学院、专业代码(6 位,实测 085400/125100/125200/125400)、标准学制、全程总学费(元)、缴费方式、住宿/不提供住宿条款,"20 行/页:非全日制 189 页≈3,780 行;不限 284 页≈5,680 行;正文实测 3 篇全含『学制+学费』双字段(天津大学 2027 电子信息非全:学制3年/3.75万;海南大学 2027 MBA:正文『36000元/年』×3年=卡片 10.8万;山东大学药学:学制2年/20000元)",469 校(导航院校维度实测计数),在职/非全口径;2027 简章已在库(标题年份实测含 2027),usable,"口径:列表学费=全程总额(= tuition_kind『元/全部』),正文可能写元/年,两者互为乘除,须与 学制 同场才能折年费;粒度是 院校×学院×专业方向,无 xy_id,专业代码只在部分正文出现;不含全日制统考(正是主库 2,337 行全日制空缺的那批)" +院校自站 2027 简章(研究生院子站 HTML + 学费附表 PDF),各校 yz./gs./yjs./graduate./portal. 子域,https://yz.scut.edu.cn/zsjz/list.htm,半:文章 URL 形态可辨(RsyqCMS //c<栏目>a<文章>/page.htm 与 _upload/article/files/*.pdf;info-CMS /info/<栏目>/<文章>.htm),但栏目列表页规律不通用——实测 /zsjz/list.htm 华南理工 200 且列出 2027 章程,深圳大学 404、中国石油 410、兰州大学栏目 412;info-CMS 反推 /info/<栏目>/list.htm 三校全 404,否:静态 HTML/PDF,部分校有 WAF(兰州大学 yz.lzu.edu.cn 栏目页 412);抽样 4/4 简章正文 200 无验证码无登录,简章正文:学费标准(按 学术/专硕 类别 × 全日制/非全 × 定向/非定向,元/人·年)、基本学制与学习年限、住宿费与是否提供住宿、学习方式;华南理工附件 PDF《2027 年硕士研究生招生学费标准、学制一览表》= 研究生类别/单位/收费标准/学制 四列,4 校正文全命中:南方医科大学 6 条学费标准行(8000/12000/16000/18000 元/年)+学制(法硕2年/其余3年);深圳大学 1 条区间(学术8000元/年、专硕1万-2.8万/年、非全2.5万-10万/年)+住宿条款;中山大学 学制(全日制2或3年、非全3年、EMBA2年);华南理工正文无数字、指向 PDF 附件,附件解析出 70 行含学费/学制,库内已有自站简章域名 81 个、标题含 2027 的简章 75 条(简章季刚起步);按既有『子域探测+栏目下钻』流程全量估 300-500 校可直出正文,usable,"唯一能给 全日制/学术型 类别级学费 的源(主库空缺集中在 2023-2026 全日制 2,337 行);学费口径=元/学年,落值走 tuition_kind『元/年』;『是否提供住宿』主库暂无列,可作新增字段;务必区分『正文含数字』与『正文只指向附件』(后者需二跳取 _upload/article/files/*.pdf)" +研招网 招生简章频道(yz.chsi.com.cn/kyzx/zsjz/),https://yz.chsi.com.cn/kyzx/zsjz/,https://yz.chsi.com.cn/kyzx/zsjz/?start=0,是(按文章,不是按院校):?start=N 每页 80 条,实测 start=0 与 start=40 的链接集合交集 40、仅后者新增 40 → 分页真生效;院校维度在 /sch/ 页只给 20 校/页,否:静态 HTML,无:GET 直出,未见签名/验证码,简章全文重印发『十二、学费及奖助政策』『三、基本学制』『(二)住宿费』等章节,累计去重 270 条中 2027 年简章仅 2 条(嘉兴大学、西北民族大学),两条正文都含 学费+学制 章节;管理类联考子频道 glllk/zsjz 最新只到 202510(2026 简章),"当前 2027 覆盖 2/270 ≈ 1%,滞后镜像;历史 viewZszc 正文 URL(库内 2,264 条)今天仍可 200 取正文,但 infoId 无法从栏目页枚举",usable,判 usable 但增量为零:2027 简章以院校自站先发布、CHSI 转载滞后,别把它当 2027 学费的批量入口;真正可用的是『正文可直出』这一点(可作官网之外的第二层存证) +MBAChina 院校库(mba.mbachina.com),https://mba.mbachina.com/,https://mba.mbachina.com/college/040d204cf3b3b143972d1035e7096d0d.html,半:首页给出 298 个 /college/<32位hash>.html 链接可翻列表取全,但 hash 与院校代码无关,只能按校名匹配,未见(页面为服务端渲染 HTML,无接口调用点),无,院校详情含『学制』『学费』字段(实测合肥工业大学 MBA:弹性学制 2—4 年,全日制 2 年/非全 2.5-4 年),栏目覆盖 MBA/EMBA/MEM/MPAcc/MPA/MF/MLIS/MTA/MAud/DBA,详情页 355 行文本,学费/学制标签命中 4 处;另有《2027全国MBA院校学费汇总》文章:正文 0 表格、63 张图,逐校学费只在图里,298 校(MBA 口径),usable_offtopic,整站只到 院校×MBA 项目 级、无专业代码,学费汇总文章要 OCR,且与在职研之家/EOL/已入库启航高度重叠;当旁证,不进落值链路 +专业学位网院校库(yz.zyxw.cn / api.zyxw.cn),https://yz.zyxw.cn/,https://api.zyxw.cn/v1/college/list?page=1&size=5&institution_type=1,是:id 为平台数字主键(清华 3224、北大 3225),page/size 可翻;按学院/专业目录的接口路径未定位(前端路由 /school/details/professional_catalogue 等的真实调用点在未扫到的 chunk 里,猜路径全部 404,已停手不猜),是:api.zyxw.cn/v1/college/list 匿名直出 JSON(data.count + data.items),无需 cookie/签名,院校列表无;逐专业数据未见开放接口,"仅院校主键与属性:id/name/subordinate/nature(双,985,211,自划线,研究生院)/area/type/logo —— 整页无学费、无学制","5 条样例:{""id"":""3224"",""name"":""清华大学"",""nature"":""双,985,211,自划线,研究生院"",""area"":""北京"",""type"":""理工类""}","2,826 校(api.zyxw.cn /v1/college/list 的 data.count 实测值),但可取字段里 0 个学费/学制",usable_offtopic,logo 域名是 yz.yanxian.org → 与今晚已入库的研线网同源,再吃一遍重复风险高;若要用只用它的 id↔校名↔985/211/自划线 作关联旁证,不接学费链路 +研招网 院校库 招生章程栏目(listZszc),https://yz.chsi.com.cn/sch/,"https://yz.chsi.com.cn/sch/listZszc--schId-368366,categoryId-10461963,mindex-13,start-0.dhtml",是(schId+categoryId 库内已有 240 对),否,无,只有标题与发布时间(表格:序号/标题/发布时间),标题无 直链,北京化工大学栏目最新只到 2014 简章、2 行无链接;三峡大学栏目 0 条链接,0(取不到正文),blocked,栏目仍活但已断供正文直链,新 infoId 无法枚举;别在这条路上再花时间。历史 viewZszc URL 可继续用于取旧正文 +希赛网 在职研究生频道(educity.cn/zaizhi),https://www.educity.cn/,https://www.educity.cn/zaizhi/,未测(首页层即无数据),未知,未触达,无学费/学制,0,0,no_data,探活脚本判 no_values_here(页面 200 但无数值密度),未见院校维度入口 +泰祺教育(tgmba.com),https://www.tgmba.com/,https://www.tgmba.com/,未测,未知,未触达,首页层无学费/学制数值,0,0,no_data,no_values_here;MBA 培训站,学费散在资讯软文 +中国高校之窗(gxu211.com),https://www.gxu211.com/,https://www.gxu211.com/,未测,未知,未触达,首页层无学费/学制,0,0,no_data,no_values_here,本科类院校资讯站 +优路教育(youlu.com),https://www.youlu.com/,https://www.youlu.com/kaoyan,未测,未知,无(首页 200,120 万字节),无学费/学制数值(no_values_here),0,0,no_data,首页可达但整页是职教导航,非考研学费库 +育路教育(yuloo.com),https://www.yuloo.com/,https://www.yuloo.com/zaizhi/,不可达,不可达,TLS SSLV3_ALERT_HANDSHAKE_FAILURE(curl 亦仅 1 字节),无,0,0,blocked,握手层被拒,与既有『育路在职研 bkzzy.com 同类』处置一致,不绕 +圣才学习网(100xuexi.com)考研检索,https://www.100xuexi.com/,https://www.100xuexi.com/Ebook/Index.aspx?tk=1,不可达,不可达,http_error(探活返回非 2xx),无,0,0,blocked,题库/电子书站,本无 简章学费 结构化表,不值得继续 diff --git a/脚本/名单解析/fetch_roster_batch.py b/脚本/名单解析/fetch_roster_batch.py new file mode 100644 index 000000000..0b9d9b2d3 --- /dev/null +++ b/脚本/名单解析/fetch_roster_batch.py @@ -0,0 +1,137 @@ +# -*- coding: utf-8 -*- +"""按 agent 清单下载名单 PDF 并当场抽出表格 grid 缓存。 + +清单来自上一轮勘察的 candidates.csv(verdict=usable)。 +download.jsp / pdf.js viewer 这类端点裸 GET 会返 HTML,必须带来源页 Referer, +否则会被误判成 dead_link,所以每个请求都回传 page_url 作 Referer。 +磁盘紧张:PDF 落盘后只保留 grid 缓存,解析入库完成再决定原件去留。 +""" +import csv +import json +import os +import re +import sys +import threading +from concurrent.futures import ThreadPoolExecutor + +import urllib3 + +import fitz +import requests +from requests.exceptions import SSLError + +BASE = r'D:/择校/运行暂存/agent_search_20261101/roster_2026' +RAW = os.path.join(BASE, 'downloads') +CACHE = r'D:/择校/运行暂存/agent_ingest_20261101/grid_cache' +MANIFEST = os.path.join(BASE, 'fetch_manifest.csv') +UA = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120 Safari/537.36'} +lock = threading.Lock() +MAX_BYTES = 90 * 1024 * 1024 + + +def slug(school, year, url): + tag = re.sub(r'[^0-9A-Za-z]+', '', school)[:8] or 'x' + return '%s_%s_%s' % (tag, year, re.sub(r'[^0-9A-Za-z]+', '', url)[-10:]) + + +def grid_of(path): + doc = fitz.open(path) + pages = [] + for page in doc: + try: + tabs = list(page.find_tables().tables) + except Exception: + tabs = [] + g = [] + for tb in tabs: + try: + for row in tb.extract(): + g.append([('' if c is None else str(c)) for c in row]) + except Exception: + continue + if not g: + g = [[l] for l in page.get_text().split('\n') if l.strip()] + pages.append(g) + n = doc.page_count + doc.close() + return pages, n + + +def get(url, page, insecure): + h = dict(UA) + if page: + h['Referer'] = page + return requests.get(url, headers=h, timeout=45, stream=True, verify=not insecure) + + +def work(row, budget): + url, page = row['pdf_url'], row['page_url'] + name = slug(row['school'], row['year'], url) + '.pdf' + dst = os.path.join(RAW, name) + rec = dict(school=row['school'], year=row['year'], page_url=page, pdf_url=url, + local=name, status='', bytes=0, pages=0, rows=0, note=row['note'][:80]) + try: + try: + r = get(url, page, False) # 默认校验证书 + except SSLError: + r = get(url, page, True) # 个别院校站证书链不全,单独降级并留痕 + rec['note'] = (rec['note'] + ';证书校验降级').strip(';') + if r.status_code != 200: + rec['status'] = 'http_%s' % r.status_code + return rec + with open(dst, 'wb') as f: + tot = 0 + for chunk in r.iter_content(65536): + tot += len(chunk) + if tot > budget[0]: + rec['status'] = 'disk_budget_exceeded' + return rec + f.write(chunk) + rec['bytes'] = tot + head = open(dst, 'rb').read(8) + if b'%PDF' not in head: + rec['status'] = 'not_pdf' # 返 HTML 说明端点要会话或跳转 + return rec + pages, n = grid_of(dst) + rec['pages'] = n + rec['rows'] = sum(len(g) for g in pages) + os.makedirs(CACHE, exist_ok=True) + with open(os.path.join(CACHE, 'rs26_' + name.rsplit('.', 1)[0] + '.json'), + 'w', encoding='utf-8') as f: + json.dump({'file': name, 'pages': pages}, f, ensure_ascii=False) + rec['status'] = 'ok' if rec['rows'] > 5 else 'no_table_rows' + except Exception as e: + rec['status'] = 'err:%s' % type(e).__name__ + finally: + with lock: + print('%-12s %-22s %-12s %d B pages=%s rows=%s' % ( + rec['status'], rec['school'][:12], rec['year'], rec['bytes'], + rec['pages'], rec['rows'])) + return rec + + +def main(): + os.makedirs(RAW, exist_ok=True) + os.makedirs(CACHE, exist_ok=True) + urllib3.disable_warnings() + rows = [r for r in csv.DictReader(open(os.path.join(BASE, 'candidates.csv'), encoding='utf-8-sig')) + if r['verdict'] == 'usable'] + print('待取 %d 份' % len(rows)) + budget = [MAX_BYTES] + with ThreadPoolExecutor(max_workers=8) as ex: + out = list(ex.map(lambda r: work(r, budget), rows)) + with open(MANIFEST, 'w', newline='', encoding='utf-8-sig') as f: + w = csv.DictWriter(f, fieldnames=list(out[0].keys())) + w.writeheader() + w.writerows(out) + ok = [x for x in out if x['status'] == 'ok'] + print('成功=%d / %d 合计行数=%d 落盘=%.1fMB' % ( + len(ok), len(out), sum(x['rows'] for x in ok), + sum(x['bytes'] for x in out) / 2 ** 20)) + for x in out: + if x['status'] != 'ok': + print(' 未成功 %-14s %s %s' % (x['school'][:14], x['status'], x['pdf_url'][:70])) + + +if __name__ == '__main__': + main() diff --git a/脚本/名单解析/ingest_orr_stat.py b/脚本/名单解析/ingest_orr_stat.py index 9c87831fe..bd28feea4 100644 --- a/脚本/名单解析/ingest_orr_stat.py +++ b/脚本/名单解析/ingest_orr_stat.py @@ -9,6 +9,7 @@ import json import re import sqlite3 +import sys import time ZX = r'D:/择校/数据库/zexiao_2027.db' @@ -58,7 +59,8 @@ def validate(rows): def main(): - src = r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json' + src = sys.argv[1] if len(sys.argv) > 1 else ( + r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json') rows = json.load(open(src, encoding='utf-8')) for r in rows: r['note'] = r.get('note', '') diff --git a/脚本/名单解析/parse_official_roster_stat.py b/脚本/名单解析/parse_official_roster_stat.py index 9b6bbdeec..7c0bb0fcd 100644 --- a/脚本/名单解析/parse_official_roster_stat.py +++ b/脚本/名单解析/parse_official_roster_stat.py @@ -11,11 +11,18 @@ import json import os import re import statistics +import sys CACHE = r'D:/择校/运行暂存/agent_ingest_20261031/grid_cache' MANIFEST = r'D:/择校/运行暂存/official_roster_2025_2026/download_manifest.csv' OUT = r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json' DIAG = r'D:/择校/运行暂存/agent_ingest_20261031/orr_diag.txt' +PREFIX = 'orr_*' +# 第二批(agent 清单批量下载)用同一套列语义,只换缓存目录、清单与前缀 +if len(sys.argv) > 3: + CACHE, MANIFEST, PREFIX = sys.argv[1], sys.argv[2], sys.argv[3] + OUT = r'D:/择校/运行暂存/agent_ingest_20261101/cand_batch.json' + DIAG = r'D:/择校/运行暂存/agent_ingest_20261101/batch_diag.txt' CODE_RE = re.compile(r'(?