From 3f4766d2329ed0fdf4f0f5085250f749bb9c0062 Mon Sep 17 00:00:00 2001 From: Your Name Date: Sun, 1 Nov 2026 02:35:07 +0800 Subject: [PATCH] =?UTF-8?q?=E8=AE=B0=E5=BD=95=E7=AC=AC=E4=B8=89=E8=BD=AE?= =?UTF-8?q?=EF=BC=9A=E5=BA=93=E5=86=85=E8=AF=AD=E6=96=99=E5=86=8D=E6=8C=96?= =?UTF-8?q?=E6=8E=98=E4=B8=8E=E4=B8=A4=E6=AC=A1=E8=87=AA=E6=88=91=E7=BA=A0?= =?UTF-8?q?=E9=94=99?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 住宿判据四轮打磨(窗口→逐句→就近归属→费用自理非无宿舍), 新表 web_accommodation_policy 135行92校; 学费查明官方CHSI已有80565行年费值,回填先犯跨年份错配再犯粒度错标, 两次都已撤回/重做,终态核实非2027残留为0、专业级由虚标2470修正为614。 web_tuition_rules 3545行629校已登记粒度与交叉口径语义。 --- .../20261031_2024官方原件其他279下载与分类.md | 28 +++ .../20261031_2027推免接收人数采集.md | 60 +++++++ .../20261031_chsi_zsgs拟录取名单勘察.md | 26 +++ .../20261031_eduego非全学费采集.md | 37 ++++ .../20261031_启航学费与2026院系线核定.md | 19 ++ ...1_官方原件重下解析_2022报录与2023分数线.md | 67 +++++++ .../20261031_官方来源增量与2027缺口补采.md | 170 ++++++++++++++++++ .../20261031_新东方院校库年份补数勘察.md | 18 ++ .../20261031_本地第三方入库与全表缺口复核.md | 32 ++++ .../20261031_研招网tjzc调剂公告10校抽样.md | 30 ++++ ...031_第三批来源勘察_高顿小木虫考研村tjzc.md | 43 +++++ .../20261031_第三批来源搜索与采集.md | 101 +++++++++++ .../20261031_第三方来源大规模补入.md | 126 +++++++++++++ .../20261031_第二批来源探索与归档入库.md | 125 +++++++++++++ ...第四批来源勘察_参考书学科评估省考院学费.md | 41 +++++ ...20261031_高顿2025报录比与2026复试线采集.md | 45 +++++ .../20261101_2027学费学制批量来源勘察.md | 34 ++++ .../20261101_全表缺口与本地补录续接.md | 16 ++ .../20261101_名单PDF官方直链扩充勘察.md | 21 +++ .../20261101_库内语料再挖掘与粒度纠偏.md | 63 +++++++ 脚本/公告正文挖掘/ingest_web_tuition.py | 9 +- 21 files changed, 1108 insertions(+), 3 deletions(-) create mode 100644 docs/agent_handoffs/20261031_2024官方原件其他279下载与分类.md create mode 100644 docs/agent_handoffs/20261031_2027推免接收人数采集.md create mode 100644 docs/agent_handoffs/20261031_chsi_zsgs拟录取名单勘察.md create mode 100644 docs/agent_handoffs/20261031_eduego非全学费采集.md create mode 100644 docs/agent_handoffs/20261031_启航学费与2026院系线核定.md create mode 100644 docs/agent_handoffs/20261031_官方原件重下解析_2022报录与2023分数线.md create mode 100644 docs/agent_handoffs/20261031_官方来源增量与2027缺口补采.md create mode 100644 docs/agent_handoffs/20261031_新东方院校库年份补数勘察.md create mode 100644 docs/agent_handoffs/20261031_本地第三方入库与全表缺口复核.md create mode 100644 docs/agent_handoffs/20261031_研招网tjzc调剂公告10校抽样.md create mode 100644 docs/agent_handoffs/20261031_第三批来源勘察_高顿小木虫考研村tjzc.md create mode 100644 docs/agent_handoffs/20261031_第三批来源搜索与采集.md create mode 100644 docs/agent_handoffs/20261031_第三方来源大规模补入.md create mode 100644 docs/agent_handoffs/20261031_第二批来源探索与归档入库.md create mode 100644 docs/agent_handoffs/20261031_第四批来源勘察_参考书学科评估省考院学费.md create mode 100644 docs/agent_handoffs/20261031_高顿2025报录比与2026复试线采集.md create mode 100644 docs/agent_handoffs/20261101_2027学费学制批量来源勘察.md create mode 100644 docs/agent_handoffs/20261101_全表缺口与本地补录续接.md create mode 100644 docs/agent_handoffs/20261101_名单PDF官方直链扩充勘察.md create mode 100644 docs/agent_handoffs/20261101_库内语料再挖掘与粒度纠偏.md diff --git a/docs/agent_handoffs/20261031_2024官方原件其他279下载与分类.md b/docs/agent_handoffs/20261031_2024官方原件其他279下载与分类.md new file mode 100644 index 000000000..60eaf2158 --- /dev/null +++ b/docs/agent_handoffs/20261031_2024官方原件其他279下载与分类.md @@ -0,0 +1,28 @@ +# 2024 官方原件 usage='其他' 279 条:下载与分类(2026-10-31) + +## 目标 +补齐 2024 官方原件清单中 usage='其他' 的 279 条:只读下载、按标题+正文分类、名单行计数、学费金额抽取。不写库。 + +## 已完成 +- 下载 270/279(102.3 MB),9 条失效(buu 2 空文件、cau 1 空文件、njust 1 + sccm 5 HTML 失效页) +- 270 条 bytes/SHA 与清单 100% 一致;18 条 SSLError 经 verify=False 复取(证书链不完整,非内容问题) +- 请求 347 次,未超 350 预算 +- 分类:其他 158 / 考试大纲 105 / 参考书目 4 / 复试名单 3;拟录取名单、招生简章、学费 0 +- 名单 3 文件 232 人(川大历史 191 / 上海政法 13 / 华北科技 28),川大 8 个专业代码分组 +- 学费 4 行(河北医科中外合作 21300 欧元 + 2.5 万元;陕西中医药 8000/10000 元/年) +- 抽样 17 条与 raw 重抽文本对照,文本一致(2 条 zip 无文本记 n/a) + +## 产物 +`D:\择校\运行暂存\official_recovery_2024_other\` +- manifest_2024_other.csv / classify_2024_other.csv / roster_rows.csv / tuition_rows.csv / sample_check.csv +- raw\其他\(270 件)、texts\(缓存)、README.md、dl_other_2024.py、dl_retry_ssl.py、extract_other_2024.py、classify_other_2024.py、verify_other_2024.py + +## 验证 +- manifest:270 ok 的 bytes_match=1、sha_match=1 +- classify:279 行(含 9 条 fail),名单人数与原文唯一考生号一致(191/13/28) +- 抽样 head_match:15 条 1、2 条 n/a(zip 包) + +## 未完成 / 下一步 +- 36 条无文本(rar 10、zip 大纲包 13、扫描 PDF 6、antiword 空 5、伪 docx 2):如需名单/大纲细节需 unrar/OCR,本任务按纪律未解包未 OCR +- 无「拟录取名单/招生简章/学费」标题类文档,该类在 2024 其他集合中确实为空 +- 建议:如需把 3 份复试名单的 232 人入交付层,先按 xy_id + 专业代码映射核验再入库(本任务未写库) diff --git a/docs/agent_handoffs/20261031_2027推免接收人数采集.md b/docs/agent_handoffs/20261031_2027推免接收人数采集.md new file mode 100644 index 000000000..26bdc355a --- /dev/null +++ b/docs/agent_handoffs/20261031_2027推免接收人数采集.md @@ -0,0 +1,60 @@ +# 2027 推免接收人数采集(30 校目标,实得 15 校) + +- 日期:2026-10-31 +- 工作目录:`D:\择校\运行暂存\y2027_tuimian_20261031\` +- 纪律:主库只读,未写库;未改 tracked 脚本;未碰注销类接口 + +## 目标与结果 + +目标:≥30 所院校 2027 推免接收人数,逐专业行 + 校级总分行。 + +实得:**11 校逐专业 1,587 行(合计 21,797 人) + 4 校校级总 4 行**,覆盖 15 校。未达 30 校目标,缺口与原因见下。 + +| 学校 | 载体 | 行数 | 合计 | 口径 | +|---|---|---|---|---| +| 山东大学 | PDF 名单(88页) | 370 | 4,185 | 逐人计数 | +| 中山大学 | PDF 名单(82页) | 356 | 3,899 | 逐人计数 | +| 北京大学 | PDF 名单(硕士67+博士63页) | 242 | 3,741 | 逐人计数,原表无专业代码 | +| 北京航空航天大学 | PDF 名单(硕士75+博士26页) | 232 | 3,469 | 逐人计数,college 为院系所代码 | +| 重庆大学 | PDF 汇总表(2页) | 99 | 2,816 | 原表逐专业人数 | +| 东华大学 | HTML 汇总表 | 74 | 1,526 | 硕士+直博,截至 10-12 | +| 西南财经大学 | HTML 汇总表 | 53 | 1,106 | 硕士+直博 | +| 北京语言大学 | PDF 名单(硕士8页+直博) | 49 | 380 | 逐人计数 | +| 华东政法大学 | HTML 汇总表 | 47 | 484 | 原表逐专业计数 | +| 四川师范大学 | PDF 名单(3页) | 38 | 129 | 逐人计数,含支教 | +| 南昌航空大学 | PDF 名单(3页) | 27 | 62 | 逐人计数 | + +校级总:深圳大学 2,285(含直博 59)、中科院信息工程所 240(正文称 105,口径待核)、中科院工业人工智能所 55、中科院网络信息中心 49。 + +## 口径与标注 + +- `major_code` 全程文本,前导零保留,自设码(1204Z1)不剥离;北大原表无专业代码,留空并在 note 标明。 +- 名单计数以“姓名行”为单位,表头/合计行已过滤;北航附件中混入的 2026 年名单(66 页)按 PDF 标题年份剔除。 +- 名单类 note 记录直博/强基/支教拆分;汇总表类记录“硕士x+直博y”。 +- 未把“拟接收/计划数”(如西工大 2400、华科 3300、中南 2900)混入实际接收表,避免口径污染。 + +## 缺口与原因(为什么没到 30 校) + +- 四川大学:汇总入口 `tms/tmsjkgs` 显示“暂未开放”;47 个学院名单页 `tms/tmsgs?yxs=` 正文为空。 +- 华南理工、深圳大学:名单 PDF 为扫描件(0 字符文本层,58-60 页),未 OCR。 +- 西安交大:附件下载返回 HTML(WAF/验证页);南京航空航天:页面返回“提示信息”登录墙;南航/江苏部分站点 488。 +- 中科大:名单在 `xspt.ustc.edu.cn/xxgs/tmsLq`,按 37 个学院分页,逐院“查看”,未逐院展开。 +- 北京科技大学:校级页只给 29 个学院链接,逐院名单需 29 次请求,未展开。 +- 清华、复旦、武大、厦大、湖大、华科、电子科大:截至 10-31 仅见预报名/工作办法,未见校级逐专业实收公示。 +- 中科院多数所名单无“专业”列(如信工所仅姓名/本科学校/层次),只能进校级总。 + +## 文件 + +- `2027_推免接收人数_逐专业.csv`(1,587 行,UTF-8-SIG) +- `school_total.csv`(4 行) +- `manifest.csv`(44 个原件:PDF 15、HTML 28、异常 1;含字节与 SHA256) +- `抽样核对10行.csv`(10/10 MATCH,重庆大学为原表行值直比,其余为 PDF 全文/HTML 原文行独立复核) +- `raw\` 原件;`aggregate.py`、`build_outputs.py`、`fetch_lib.py` 可复现 +- 请求统计:约 120 次(≤300),5 线程,间隔 0.3s + +## 下一步 + +1. 川大 47 院、中科大 37 院、北科 29 院按学院页枚举(预计 +3 校、千行级)。 +2. 华工/深大扫描件 OCR(58+60 页)。 +3. 用 `chsi_2027_dir` 或招生目录为北大 242 行补专业代码。 +4. 核信工所“105 名 vs 名单 240 人”口径。 diff --git a/docs/agent_handoffs/20261031_chsi_zsgs拟录取名单勘察.md b/docs/agent_handoffs/20261031_chsi_zsgs拟录取名单勘察.md new file mode 100644 index 000000000..e152341ec --- /dev/null +++ b/docs/agent_handoffs/20261031_chsi_zsgs拟录取名单勘察.md @@ -0,0 +1,26 @@ +# chsi 招生信息公开平台·拟录取名单勘察(只读) + +- 日期:2026-10-31 +- 目标:判断研招网 `https://yz.chsi.com.cn/zsgs/` 能否批量发现并解析"拟录取名单公示",为 2025 届名单缺源找新入口 +- 结论:**不能批量**。名单栏目 `/zsgs/mdgs/**` 全路径 302 到学信网 CAS 登录(带验证码),按要求停手,未做任何绕过 + +## 已完成 + +1. 入口与枚举:公开栏目 `招生章程 /zsgs/zsjz/`、`复试录取办法 /zsgs/fslq/` 可按 `?start=N`(步长 20)分页、`detailall.action?schCode=xxxxx` 按院校、`detail.action?zsgsId=…&schCode=…` 看正文。 +2. 全量枚举 fslq 院校清单:48 页,939 条,908 个 schCode(31 条未挂链接),落 `fslq_schools.csv`。 +3. 年份:`?year=2025/2024` 与默认返回表格完全一致,年份参数无效;栏目只展示当届(fslq=2026 年办法、zsjz=2027 年章程)。 +4. 抽样 5 校(985 北大、211 北交、211+0856 北邮、双非北方工大/北工商)公开正文:正文取自 `hid_content`,形态为外链(admission.pku.edu.cn)、院系联系表、分数线表、纯文本,均不含考生明细。 +5. 与库内比对:`ggyx_admission_list` / `fact_admission` 均为 2026 届 770,793 行 / 661 校;与平台 939 校按校名匹配 641,平台独有 298 校(清华、东北大学、中国传媒等库内为 0 行)。 + +## 证据 + +- 目录:`D:\择校\运行暂存\agent_probe_20261031\chsi_zsgs\` +- `summary.json`(汇总)、`probe.csv`(5 校)、`mdgs_probes.csv`(8 条 302)、`fslq_schools.csv` +- 原始件:`raw/`(首页、302 响应头、fslq/zsjz 列表与正文、48 页院校清单) +- 请求 81 次,限速 0.5s,未写库 + +## 未完成 / 下一步 + +- 名单正文载体(HTML 表格/PDF/图片)与字段、单份行数:**登录墙后不可验证**,不得写成已知 +- 若用户提供已登录会话(`ggyx_chrome` 登录态是否对 yz.chsi.com.cn 生效)才可能续做;否则放弃该入口 +- 2025 届仍无源:平台无年份回溯 diff --git a/docs/agent_handoffs/20261031_eduego非全学费采集.md b/docs/agent_handoffs/20261031_eduego非全学费采集.md new file mode 100644 index 000000000..bd05b900d --- /dev/null +++ b/docs/agent_handoffs/20261031_eduego非全学费采集.md @@ -0,0 +1,37 @@ +# eduego(学晋网)非全日制学费/学制采集 — 2026-10-31 + +## 目标 + +把 eduego 各校"非全日制学制学费"文章采成结构化 CSV(只读网站,不写主库)。 + +## 已完成 + +1. 阶段 A(院校列表):按 `/school1..1021/zhaosheng/` 枚举,有效 502 校(n 取自 `/school/` 已知清单,失配即跳过),共 11,201 篇文章标题/URL/日期,全部 200。 +2. 候选筛选:标题关键词分三级(学制学费一览/标准 > 学制学费 > 学费/学制),按 (校, 标题年份) 去重取最优 1 篇 → 1,106 篇。 +3. 阶段 B(正文表格):解析 25 篇 → 492 行,全部非全日制,含原文金额/单位与派生年费。 +4. 解析器覆盖 5 种表头格式:招生项目/招生单位/学制/学费标准;专业类型/专业名称/专业代码/学制/学费;院系/专业/研究方向/拟招/学费·学制(同格);学院/专业/学制/学费(万);招生项目/专业代码/学费标准(万元/生)。 + +## 阻塞(重要) + +阶段 B 第 2 批起,`www.eduego.com` 对本机 IP 返回 nginx 403(含 `/robots.txt`),持续 100 分钟以上未恢复,按纪律停止请求、未做任何绕过(未换 UA/代理/身份)。已抓到的 25 篇 HTML 在 403 生效前落盘,离线解析可用。 + +## 产物 + +`D:\择校\运行暂存\eduego_tuition_20261031\` + +- `tuition_rows.csv` 492 行 × 21 列(含 `data_source`、`_table_idx/_row_idx` 回溯定位) +- `schools.csv` 502 校(含头部"学制/学费区间"摘要、候选数、成行数) +- `skipped.csv` 1,106 行(http_403 24 + not_attempted 1,082) +- `summary.json`、`sample_check.csv`(10 行抽样对照) +- `raw/` 527 个 HTML(502 列表页 + 25 文章) +- 中间件:`articles_stage.csv`、`candidates.csv`、`cached_articles.csv`、`requests.log` + +## 验证 + +10 行抽样(8 篇、4 种表格格式)与原始单元格逐列对照:专业名/六位代码/学制/学费列均未错位;杭电 2026 MBA 全程 115000 与库内一致;清华 41.8 万元/生 与"第一年 20.9、第二年 20.9"自洽。 + +## 未完成 / 下一步 + +- 1,082 篇候选未抓。站点恢复后:`python -B stageB.py`(3 线程、0.6-0.9s 全局间隔,脚本已按此默认值改);若再次 403,直接停并改日重试。 +- 133 行 unit 为"万元/元"(原文与表头都没标年/全程),未推断,`tuition_per_year_derived` 留空,待人工或院校官网核。 +- 入库前按 `docs\审计口径规范.md` 做 `tuition_total/tuition_year/duration` 分流;`major_code` 仅 33 行有值(多数页面原表无代码列,未猜)。 diff --git a/docs/agent_handoffs/20261031_启航学费与2026院系线核定.md b/docs/agent_handoffs/20261031_启航学费与2026院系线核定.md new file mode 100644 index 000000000..15792c098 --- /dev/null +++ b/docs/agent_handoffs/20261031_启航学费与2026院系线核定.md @@ -0,0 +1,19 @@ +# 2026-10-31 启航 jixun.iqihang 学费/2026院系线核定 + +## 目标 +把启航两类数据的字段与可采量核到可写库程度,区分「源侧没有」与「未取全」。只读,未写库。 + +## DONE +- 入口规则:学费 `/schoollist/{校id}/xfjj/` → `/schoolxfjj/{文章id}.html`(一校多篇,取最新);院系线 `/zixun/fenshuxian/index_{n}.html`,2026 批次占 p1–p95,约 1,700 篇。 +- 字段表:院系线 9 列(计划/推免/剩余/复试人数/政治英语/业务课/总分,专业码含字母 0812J1);学费 12 列(院系/专业/方向/拟招统考/推免/学费/折算办法),仅中科大式详表有专业级。 +- 样本:学费 11 校(专业级 1、有值 5、空壳 6);院系线 20 篇(有效 7、空壳 13)。有效数据篇率 35%。 +- 去重:neworiental 2026 33,515 行/409 校、空线 11,545 行;启航粒度更细(西工大光电院 5 行 vs 3 行),专业码完整;neworiental `plan_count` 疑为推免数。 +- 净新增(外推):院系线专业级全新 250–500 行、可补空线 1,500–2,500 行;学费 1,000–1,500 行(多院校/学位级)。 + +## 证据 +`D:\择校\运行暂存\agent_probe_20261031\qihang\`:README.md、fsx_samples.csv、tuition_samples.csv、sql_*.txt、raw/*.html + +## TODO / 下一步 +1. 院系线新建 `iqihang_college_lines`(保留专业码字母/方向/推免/剩余/复试人数),按「院校+院系+专业码+方向」匹配 neworiental 回填 score_line。 +2. 学费只入 `core_tuition`(source='启航')补 507 校之外的院校级,专业级明细补 `pd_dir_detail.tuition_year`。 +3. NOT_VERIFIED:p96–p104 边界未逐页确认(±150 篇);学费 870 校全量表单率未实测。 diff --git a/docs/agent_handoffs/20261031_官方原件重下解析_2022报录与2023分数线.md b/docs/agent_handoffs/20261031_官方原件重下解析_2022报录与2023分数线.md new file mode 100644 index 000000000..4ce197b42 --- /dev/null +++ b/docs/agent_handoffs/20261031_官方原件重下解析_2022报录与2023分数线.md @@ -0,0 +1,67 @@ +# 官方原件重下解析:2022 报录 + 2023 分数线(2026-10-31) + +## 目标 + +归档清单里的官方原件只剩 URL(库内 `notice_files` 零命中),需重下并结构化: +- 2022 `官方原件清单_2022.csv` 11 条(4 xlsx 报录统计 + 5 pdf + 2 doc) +- 2023 `官方原件清单_2023.csv` 55 条(50 分数线 + 4 复试办法 + 1 拟录取办法) + +清单来源:`D:\择校\_归档\_待删_20261022\staging\运行批次\parallel_sources\qoder_slot_fill_13_20260927\out\` + +## 已完成 + +1. **下载**(`download_recover.py`):66/66 条已跑完,总请求 66 次(预算 ≤150,无重试)。 + - 成功 57,失效 9(全部为北京建筑大学 9 条:返回 540 字节防盗链 HTML 占位页,扩展名 .pdf)。 + - 57 份成功件的 **bytes 与 SHA-256 与清单 100% 一致**(零差异),即拿到的是同一份原件。 +2. **2022 解析**(`parse_xlsx_2022.py`):973 行,覆盖 8 份原件。 +3. **2023 解析**(`parse_pdf_2023.py`):444 行,覆盖 33 份原件。 +4. **抽样对照**(`verify_and_manifest.py`):2022 抽 5 行、2023 抽 5 行,逐行回原文表格比对,10/10 一致。 + +## 产物 + +| 文件 | 说明 | +|---|---| +| `运行暂存\official_recovery_20261031\raw\2022\` | 11 份原始文件 | +| `运行暂存\official_recovery_20261031\raw\2023\` | 55 份原始文件(9 份为 HTML 占位) | +| `parsed\baolubi_2022_rows.csv` | 973 行 × 35 列 | +| `parsed\score_lines_2023_rows.csv` | 444 行 × 26 列 | +| `manifest_final.csv` | 66 条:状态/字节/SHA/解析状态/行数/列置信度 | +| `logs\sample_check_2022.csv`、`sample_check_2023.csv` | 抽样对照(含原文行) | +| `logs\pdf_parse_stats.csv` | 逐份 PDF 解析状态 | + +## 2022 结果(973 行) + +| 学校 | 原件 | 行数 | 关键列 | +|---|---|---|---| +| 首都医科大学 | 08 pdf | 281 | 录取总数/推免/统考 + 最高/最低分 | +| 西北师范大学 | 10 pdf | 158 | lqrs 录取 / bkrs 报考 / tmrs 推免 | +| 中国矿业大学 | 03 xlsx | 142 | 报名/录取含推免/录取不含推免(全日制+非全 2 sheet) | +| 宁波大学 | 01 xlsx | 124 | 报考/录取/推免/国家线/最高最低(一志愿+调剂) | +| 中国地质大学(武汉) | 02 pdf | 112 | 单科 4 列 + 总分 + 推免/录取/报考 | +| 浙江工商大学 | 11 xlsx | 80 | 报考/上线/推免/一志愿/调剂/士兵/合计 | +| 南昌航空大学 | 07 pdf | 72 | 2020–2022 三年统考录取与最低分 + 2023 预计招生 | +| 昆明贵金属研究所 | 04 xlsx | 4 | **招生专业目录**(计划/考试科目),非报录比 | + +- 浙工商解析完整性已用表内"小计"校验:学术型报考 4762、专业型 12786、推免 24/5、一志愿 616/1350、调剂 210/344 全部与原表小计一致。 +- 2023 黑龙江报名公告(09)与 2 份 .doc 未解析(非报录数据 / 非任务格式)。 + +## 2023 结果(444 行) + +- 涉及 6 校:中国矿业大学 131、中央财经大学 105、西北政法大学 63、河南农业大学 56、郑州轻工业大学 51、广东工业大学 38。 +- `plan_type` 区分口径:`normal` 351(院校专业线)、`national` 76(国家线 A 类门类)、`special` 17(央财专项计划线)。 +- 置信度:high 113 / medium 314 / low 17(low 全为专项线)。 +- 30 份含专业代码表的解析行数与原文表格代码行数 **逐份 diff=0**(含矿大 4 页/3 页跨页续表 72/59 行)。 +- 跳过:9 失效(北建大)、6 无文字层(郑轻)、1 文字层乱码(郑轻 40)、3 .doc(含暨南分数线)、2 复试办法(公安/警察)、1 央音复试办法(无分数表)。 + +## 验证 + +- 抽样 10 行(2022 五校 + 2023 五份不同文件)与原文表格逐字段比对:10/10 一致。 +- 数值合法性:total 全部落在 100–450;仅 4 条"单科>100"=153 属教育学 300 分制正常线,非异常。 +- 专业代码保留前导零与字母(如 0901Z1、0972Z1、0201Z1、1204J2),共 34 行带字母代码。 + +## 未完成 / 下一步 + +- 未入库。两个 CSV 待按 `docs\审计口径规范.md` 决策是否并入 `fact_*`(2022 报录需与既有 `ggyx_*` 去重;2023 线需与 `fact_score` 比对)。 +- 同校同专业跨文件重复(如农大 095131 出现在 3 份 PDF)按原文保留、未合并;入库时需带 `source_file` 作区分键。 +- 9 条北建大失效件可尝试站内检索替代路径(本期按要求记 manifest 后不再重试)。 +- 央财/广工原件无专业代码列,只能按专业名/学科门类匹配,入库前需名称对齐。 diff --git a/docs/agent_handoffs/20261031_官方来源增量与2027缺口补采.md b/docs/agent_handoffs/20261031_官方来源增量与2027缺口补采.md new file mode 100644 index 000000000..852bb61e4 --- /dev/null +++ b/docs/agent_handoffs/20261031_官方来源增量与2027缺口补采.md @@ -0,0 +1,170 @@ +# 2026-10-31 官方来源增量与 2027 缺口补采 + +## 目标 + +按“近年份优先、先复用库内来源、采集后及时入库”的要求,检查现有官方院校来源、研招网目录和点对点目录是否有更新;平台接口失效时保留失败证据,不把登录失效误判为无数据。 + +## 本轮已完成 + +### 官方院校来源 + +- 先用 `数据库/fetch_official.py --sweep --workers 8 --limit 20 --sub 1` 做抽样,确认 2026-10 月仍有新公告后,再执行 `数据库/refresh.py --split 8 --skip-probe --workers 16 --sub 1 --days 60 --no-attach`。 +- 实际处理 319 所院校;扫描结果有 216 条候选通知,去重与收敛后写入 213 条 `notices_all` 新记录,覆盖 83 所院校。 +- 213 条中有 195 条标题或 URL 明确对应 2027;正文已写入的通知占大多数,15 条为直链 PDF/RAR。 +- 当前数据库计数:`notices_all=6,987`,最大 `found_at=2026-10-31`,最大发布日期 `2026-10-27`;正文隐藏附件补采后 `notice_files=1,080`,其中 `status='ok'` 为 1,019。 +- 15 个直链文件已经落盘到 `官方资料/最新通知2027/`,共 4,627,170 字节;本轮已按 URL 哈希逐条核验并登记到 `notice_files`,总记录从 751 增至 766,`notices_all.attach` 已回写路径。其中 13 个 PDF 已抽取文本并回填 `notices_all.body/body_len`,18 位身份证号按现有 `fetch_official.mask_ids` 规则脱敏;剩余 2 个 RAR 保留为文件证据,`body_len=0`。 +- 登记前备份与回执在 `运行暂存/入库前备份/20261031_official_attach_pre/`,包括 `notice_files.csv.gz`、`direct_notices.csv.gz` 和 `receipt.json`;15 条均为本地文件存在、字节数和 SHA-1 可复核。 +- PDF 正文抽取候选在 `运行暂存/official_pdf_body_extract_2027.json`;正文回填前的受影响行、文件哈希和更新回执在 `运行暂存/入库前备份/20261031_official_pdf_body_pre/`(`notices_before.csv.gz`、`receipt.json`)。回执为 `rows_targeted=13`、`rows_updated=13`、`remaining_pdf_body0=0`、`remaining_direct_body0=2`。 +- 针对 2027-10 月仍无附件的 49 条近期官方通知做了只读页面探测:17 个页面发现 78 个有效附件链接,12 个复用已有文件、66 个新下载(其中首批 56 个、同页漏挂补齐 10 个);最终 78/78 对已登记,新增下载约 11,771,803 字节。发现清单、增量备份和回执在 `运行暂存/入库前备份/20261031_official_recent_attach_pre/`(`discovery.json`、`notices_before.csv.gz`、`partial_before.csv.gz`、`receipt.json`、`partial_receipt.json`)。 +- 本轮附件闭合复核为 78 个登记对全部存在,字节数和 SHA-1 均一致;剩余 32 条 2027-10 月通知页面未发现可识别附件。一次包装器字段错误产生的 15 条临时失败记录已备份到 `wrapper_error_rows.csv.gz` 后清理,当前错误行计数为 0。 +- 对这 32 条页面做了更宽的只读复查:检查所有 `href/src/data/onclick`、内联脚本和无扩展名下载接口,发现 88 个候选接口;逐个只读探测响应头和文件魔数后确认 17 个真实文档(约 2,865,180 字节),包括重庆医科大学 12 个考试大纲 PDF、浙江中医药大学 4 个表格/文档、宝鸡文理学院 1 个 DOC。17 个 URL 在 `notice_files` 中此前均不存在,已按响应文件名落盘并登记,3 条通知的 `attach` 已回填;当前同口径无附件页面从 32 条降为 29 条。 +- 宽扫描与响应探测证据在 `运行暂存/official_attachment_wide_scan_20261031.json`、`运行暂存/official_attachment_download_probe_20261031.json`;入库前备份与 PASS 回执在 `运行暂存/入库前备份/20261031_official_hidden_attach_pre/`(`notices_before.csv.gz`、`notice_files_before.csv.gz`、`receipt.json`)。本批 `changelog` 记录为 `official_hidden_attach_ingest_20261031`,回执 SHA-256 为 `b86ea72a10931a6358feed421297a4c072c2ab99d26f7b164d2e310e563f2cbf`。 +- 本轮生成的可复核产物:`数据库/抓取分片/auto_0.jsonl` 至 `auto_7.jsonl`、`最新通知.md`、`最新通知.csv`、`0856官方层_缺口归因.csv`、`官方资料/最新通知2027/`。 + +### 点对点目录缺口 + +- 变更前备份: + - `运行暂存/入库前备份/20261031_pd_gap_pre/dir_hist.csv.gz`,154,685 行,SHA-256 `a4bbf2c922c7a734e6efe3e9bf1c9bc9fcf54062348bb204eb4b2bfd507add4c`。 + - `运行暂存/入库前备份/20261031_pd_gap_pre/pd_dir_detail.csv.gz`,172,897 行,SHA-256 `a588d2dd765d112659e540658f3173b278df73dab1703605b2ec8b327fde7ba1`。 +- 原有 `运行暂存/ggyx采集/pd_alias.json` 未覆盖,另存 `pd_alias_pre_20261031.json`;新增经页面标题和目录表只读验证的 `pd_alias_v2.json`,包含 8 组历史校名映射: + - 中国科学院大学 ← 中国科学院研究生院(dx=188) + - 江苏师范大学 ← 徐州师范大学(dx=396) + - 闽南师范大学 ← 漳州师范学院(dx=478) + - 贵州医科大学 ← 贵阳医学院(dx=733) + - 喀什大学 ← 喀什师范学院(dx=847) + - 安徽建筑大学 ← 安徽建筑工业学院(dx=461) + - 河北地质大学 ← 石家庄经济学院(dx=220) + - 中国矿业大学(10290) ← 中国矿业大学(徐州)(dx=401) +- 使用 v2 别名运行现有 `脚本/ggyx采集/fetch_pd_gap.py`,不改 tracked 采集脚本:待处理 693 个历史校名任务,HTTP 请求成功 693,失败 0;写入 `dir_hist` 431 行、`pd_dir_detail` 612 行(表内按键覆盖计数为 482);当前表计数分别为 155,116 和 173,379。 +- 历史复核曾将 CHSI 差异键从 4,536 降至 4,444,并记录剩余未映射任务为 1,803 键、110 所院校;当前只读重算结果见“其他来源状态”小节,不能再把这组历史数字当作当前缺口。 +- `pd_gap_state.json` 当前记录 5,370 个已完成状态;“请求成功”只表示源页 HTTP 成功,不等于每个专业键都解析出了目录行。 + +### 官方目录 PDF 结构化补采 + +- 对本轮直链目录 PDF 做了零写入表格探测,确认文本表格可解析;从浙江万里学院和潍坊学院的官方 2027 专业目录中抽出 23 个专业级键(浙江万里学院 16、潍坊学院 7)。 +- 23 行已追加到 `dir_hist`,`证据级别=一级`、`来源=院校官网PDF`,保留每条官方 PDF URL;`dir_hist` 从 155,116 增至 155,139。 +- 其中 20 个键与 `chsi_2027_dir` 专业键交集,3 个键为院校 PDF 有而 CHSI 当前没有:浙江万里学院 `085800`,潍坊学院 `085601`、`085602`。这些行作为官方第二来源保留,没有覆盖或删除 CHSI 数据。 +- 结构化抽取候选及 PDF SHA-1 在 `运行暂存/official_catalog_pdf_2027_extract.json`;事务回执和受影响行备份在 `运行暂存/入库前备份/20261031_official_catalog_pre/`。 +- 此次补采后,CHSI 与 `dir_hist` 的差异键由 4,444 降至 4,424,涉及院校由 530 降至 528。 +- 山东医药大学 7 行入库后,当前 CHSI 与 `dir_hist` 差异键为 4,419,涉及院校仍为 528;其中多院系重复码仍按粒度规则留证,不用总和覆盖点对点值。 +- 对湖北省委党校和齐齐哈尔医学院的官方目录 PDF 做了只读交叉核验:湖北 4 个专业键、齐齐哈尔 48 个方向行聚合出的 19 个专业键均已存在于 `dir_hist`,没有重复写入。湖北 PDF 的“中共党史党建学”与库内“中共党史党建”存在名称变体;齐齐哈尔 PDF 按多个附属医院/方向合计招生人数,与点对点源页的首方向单行值不是同一粒度,不能盲目覆盖。核验结果保存在 `运行暂存/official_catalog_pdf_2027_crosscheck.json`。 +- 对近期新增的上海海关学院和山东医药大学官方 2027 目录 PDF 做了结构化核验:上海海关学院 6 个专业键与现有目录及人数一致;山东医药大学识别 73 个专业键,其中 7 个现有 `dir_hist` 缺失且为单行清晰的自设/新专业码,已以 `证据级别=一级`、`来源=院校官网PDF` 追加,`dir_hist` 从 155,139 增至 155,146。`1002Z3` 在 PDF 中跨两行/多院系,保留为延后裁决证据,不合并写入主表。 +- 新目录抽取与 7 行入库回执在 `运行暂存/official_catalog_pdf_2027_extract_additional.json`、`运行暂存/入库前备份/20261031_official_catalog_pdf_additional_pre/`;交叉核验总账已更新到 `运行暂存/official_catalog_pdf_2027_crosscheck.json`。新增官方 PDF 行合计 30(山东医药大学 7、浙江万里学院 16、潍坊学院 7)。 + +### 2027 `dir_hist` 招生人数缺口回填 + +- 复核 `dir_hist` 2027 空招生人数 35 行,全部能在 `chsi_2027_dir` 找到同校同专业键;按规范 §1.2a 对 `专业:N` 组取 MAX、`研究方向:N` 组取 SUM,再跨院系组求和,未直接盲目 SUM 方向行。 +- 使用现有脚本 `脚本/fix_dirhist_enroll.py` 回填 35 行,`来源` 更新为 `点对点考研+研招网2027`、`证据级别` 更新为 `官方(chsi回填)`;其中 24 行官方值为 0,保留为真实计划数,不改成 NULL 或删除。 +- 回填后 2027 `dir_hist` 招生人数空值为 0,`dir_hist` 总行数仍为 155,146。回填摘要、旧/新备份哈希在 `运行暂存/logs/dir_hist_chsi_backfill_20261031.json`;旧 10 月 22 日备份已另存为 `运行暂存/ggyx采集/dir_hist_回填备份_20261022_pre_20261031.csv`,SHA-256 `275BAA...543C9A2`。 + +### 2027 官方页面全量附件宽扫描与入库 + +- 对 `source='official_web'` 且标题或 URL 含 `2027`、当前 `attach` 为空的 752 条页面做了只读扫描;663 页可正常读取,提取 481 个唯一链接,过滤控制字符、通配符和非文档路径后保留 453 个候选 URL。 +- 响应头和前 64 KiB 魔数探测确认 136 个文档(PDF/Office/ZIP/OLE),另有 21 个 RAR 只保留探测证据;探测统计在 `运行暂存/official_2027_all_attach_probe_20261031.json`,扫描清单在 `运行暂存/official_2027_all_attach_discovery_20261031.json`。 +- 136 个文档全部完成下载登记:首批 134 个、天津音乐学院定向重试 2 个,合计 `110,742,370` 字节;`notice_files` 中批次明细分别为 `official_2027_all_attach_20261031`(134 条)和 `official_2027_all_attach_20261031_retry`(2 条)。入库前备份与首批回执在 `运行暂存/入库前备份/20261031_official_2027_all_attach_pre/`,重试备份与回执在 `运行暂存/入库前备份/20261031_official_2027_all_attach_retry_pre/`。 +- 首批 2 个天津音乐学院 PDF 曾因远端提前断开而失败;带来源页 Referer 的定向重试均一次成功,回执日志为 `运行暂存/logs/retry_tianjin_music_attachments_20261031.log`。全批次本地闭合日志 `运行暂存/logs/official_2027_all_attach_closure_20261031.log`:136 条记录、136 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0。 +- 直链恢复前,`source='official_web'` 的 2027 页面共 972 条,其中 274 条已有附件、698 条仍无附件;近期(`pub_date>=2026-10-01`)无附件为 29 条。该数字仅作恢复前基线,当前结果见后文;无附件也不等于页面没有正文或附件。 + +### 2027 官方直链恢复与附件闭合修复 + +- 针对 2027 无附件记录中“URL 本身就是文档”的候选做了独立探测。去除已有 `notice_files` URL 后,20 个新直链中 14 个首轮确认有效,2 个河北医科大学 `.xls` 因 TLS 校验失败,经 `verify=False` 定向复核成功;4 个链接返回 404。探测与重试证据在 `运行暂存/official_2027_direct_url_probe_20261031.json`、`official_2027_direct_url_retry_20261031.json`。 +- 另有 71 个旧 `notice_files` 记录指向的本地路径在迁移后已不存在;仅对 URL 本身带文档扩展名的记录重新探测,54 个有效(37 PDF、15 ZIP/Office、1 OLE、1 RAR),17 个为 404、502 或返回 HTML 页面。证据在 `运行暂存/official_2027_stale_direct_probe_20261031.json`。 +- 合并两批有效 URL 后重新下载并登记 70 个文件,合计 `76,859,337` 字节,新增或修复 70 个当前通知键;`notices_all.attach` 已按当前通知键回填。旧失效 `cached` 行未删除,也未把不存在的旧路径直接当作有效文件。 +- 入库前备份与回执在 `运行暂存/入库前备份/20261031_official_direct_and_repair_pre/`,回执为 `PASS`、`candidate_urls=70`、`rows_inserted=70`、`notice_file_rows=70`、`failed=0`。本地闭合日志 `运行暂存/logs/ingest_official_2027_direct_and_repair_20261031_result.log`:70 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0、附件回填错误 0。 +- 下载端点补采完成时,`source='official_web'` 的 2027 页面共 972 条,其中 348 条 `attach` 字段非空、624 条仍无附件;近期(`pub_date>=2026-10-01`)无附件为 29 条。正文隐藏附件补采后的当前结果见后文,近 60 天报告仍为 1,113 条。 + +### 2027 官方下载端点补采 + +- 对当前 `attach` 为空且 URL 命中 `download`、`wbfileid`、`downfile`、`system/_content` 或 `upload` 的 153 条官方 2027 页面做只读探测;按 URL 去重后仍为 153 个端点,未跳过任何当前 `(notice_key,url)` 的 `status='ok'` 记录。 +- 响应头与前 128 KiB 魔数确认 4 个真实文档:贵州民族大学 PDF、机械科学研究总院 DOCX、福州大学 2 个 XLS,合计 `203,834` 字节;144 个端点返回 HTML、3 个明确 HTTP 错误、2 个连接超时,均未写入附件表。探测证据为 `运行暂存/official_2027_download_endpoint_probe_20261031.json`,摘要日志为 `运行暂存/logs/official_2027_download_endpoint_batch_20261031.json`。 +- 首次入库先成功登记 2 个文件;福州大学端点存在瞬时 HTML 响应,带 `Referer` 和三次魔数重试后剩余 2 个 XLS 均通过长度与 SHA-1 校验并登记。最终闭合日志 `运行暂存/logs/closure_official_2027_download_endpoint_20261031.json`:4 条、4 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0、附件回填错误 0。 +- 当前 `source='official_web'` 的 2027 页面仍为 972 条,其中 348 条 `attach` 非空、624 条无附件;近 30 天无附件仍为 29 条。下载端点入库回执与受影响键备份在 `运行暂存/入库前备份/20261031_official_2027_download_endpoint_pre/`;最终重试回执为 `PASS`、2/2、90,112 字节,完整批次以探测 JSON 和闭合日志为准。 + +### 2027 近期页面正文隐藏附件补采 + +- 对近 30 天仍无附件的 29 条官方页面,复用页面宽扫描中提取的 `system/_content/download.jsp` 端点做只读魔数探测;去除当前已登记键后得到 71 个端点,涉及 9 所院校。 +- 71 个响应均为 HTTP 200,其中 9 个确认是真实文档:安康学院 2 个 XLSX、江西科技师范大学 1 个 XLSX、北京农学院 2 个 DOCX、河北经贸大学 2 个 PDF、中共广东省委党校 1 个 XLS 和 1 个 DOCX;62 个返回 HTML/非文档响应。探测与汇总证据在 `运行暂存/official_2027_body_attachment_probe_20261031.json`、`运行暂存/logs/official_2027_body_attachment_batch_20261031.json`。 +- 9 个文件均下载并登记,合计 `389,310` 字节,影响 5 个通知键;本地闭合日志 `运行暂存/logs/closure_official_2027_body_attachment_20261031.json` 为 9 条、9 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0、附件回填错误 0。入库前备份与回执在 `运行暂存/入库前备份/20261031_official_2027_body_attachment_pre/`,回执为 `PASS`。 +- 华侨大学 3 个页面对应的 61 个附件端点均返回标题为“用户验证”的 HTML 验证页,未返回文件;这 61 个响应保留在探测 JSON 中,当前不绕过验证码、不伪造附件登记,相关页面继续计入无可登记附件。 +- 当前 `source='official_web'` 的 2027 页面共 972 条,其中 353 条 `attach` 非空、619 条无附件;近 30 天无附件降至 24 条。 + +### 其他来源状态 + +- ggyx 当前 token 仍返回业务 `code=201`、`登录失效,请重新登录`;本轮没有注销、没有执行会写回 token 的 `grab_token.py`,也没有删除 `运行暂存/ggyx_chrome/`。 +- CHSI 公开接口对 10 个现有 2027 键逐行只读比对,关键字段无差异;未做全量重采。正式重采前应把脚本默认缓存路径从不存在的 `D:/zexiao_cache/chsi_2027` 指向 `D:/择校/运行暂存/zexiao_cache`。 +- 现有官方入口的 `sources.last_checked` 仍有大量历史值;本轮新鲜度以 `notices_all.found_at=2026-10-31` 和新增记录为准,不把 `last_checked` 误当成完整覆盖证明。 + +- 在 new9 增量入库前,`chsi_2027_dir` 与 `dir_hist` 的只读实时差异为 4,419 个 `(院校,专业代码)` 键、528 所院校;当时按 `pd_school_map.json` 与 `pd_alias_v2.json` 可映射 3,237 个任务,未映射 1,182 个键、100 所院校。未执行会以 `MAX_ID=1300` 覆盖现有 1..2400 映射的旧 `fetch_pd_map.py`。 +- CHSI 2027 `yjfxs.do` 实时小样本探测覆盖 20 个当前差异键,20/20 返回 HTTP 200 业务 JSON,共 49 个方向行;与库内对应方向 ID 集合逐项比对无差异,因此本轮没有重复写入 `chsi_2027_dir`。证据在 `运行暂存/chsi_2027_refresh_probe_20261031.json` 和 `运行暂存/logs/chsi_2027_refresh_probe_20261031.log`。 + +### 2026-10-31 收口复核(全表闭合) + +- 停止了未完成的“每校分散”点对点只读探测;该进程只发 HTTP 请求、未调用 `P.save`,没有数据库写入。已完成的自设码样本为 30/30 HTTP 200、解析 0 行;数字码样本为 30/30 HTTP 200、5 个解析到历史 2021/2022 行、2027 行为 0,不能把该样本外推为全量命中率。样本证据保留在 `运行暂存/pd_gap_custom_sample_probe_20261031.json`、`运行暂存/pd_gap_numeric_sample_probe_20261031.json`。 +- new9 入库前的稳定库只读重算:`chsi_2027_dir` 专业键 37,213,`dir_hist` 去重键 40,753;差异为 4,419 个 `(院校,专业代码)` 键、528 所院校。按 `pd_school_map.json` + `pd_alias_v2.json` 可映射 3,237 键(428 所),未映射 1,182 键(100 所);其中纯数字码可映射 996 键,含字母/自设码 2,241 键。该段为增量入库前基线,当前值见下方 new9 小节。 +- 官方通知当前仍有 619 条 2027 页面无可登记附件,近 30 天为 24 条;`pd_dir_detail` 学费空 2,339 行,`fact_score` 分数空 6,143 行,均为源侧缺口/待补采项。 +- CI 完成后单独重跑全表审计,最终遍历 schema 中 191/191 张表;其中 189 张非空表进入审计汇总,`ggyx_school_major` 与 `global_assessment_undo` 为空表(各 0 行),没有漏掉非空表;`fact_score_dist`(1,800,976 行)已纳入。字段剖面 2,780 个,问题 255 个:P4=254、P5=1。34 个 view 不计入“表”数量,由事实层/四维审计读取。 +- 本轮最终日志:`运行暂存/logs/audit_all_tables_20261031_close_final.log`、`audit_data_quality_20261031_close_final.log`、`audit_four_dims_20261031_close_final.log`、`run_audit_ci_20261031_close.log`、`sqlite_quick_check_20261031_close.log`;`run_audit_ci` 硬性项全部 PASS,四维台账 P0=1/P1=1/P2=2,SQLite `quick_check=ok`。 + +### 2026-10-31 增量补采与来源归因(new9 后) + +- 结构解析遗漏已用临时解析器修复并入库:上海核工程研究设计院 `085800`、`082700` 两个 2027 键,写入 `dir_hist=2`、`pd_dir_detail=2`;未修改生产解析器的正则。入库前备份在 `运行暂存/入库前备份/20261031_pd_structural_pre/`,回执在 `运行暂存/pd_structural_mismatch_20261031.json`。 +- 现行 Popedu 专业索引发现 9 所院校的新 `dx_id`,按 234 个缺口键做只读探测后,226 个键有 2027 目录记录,8 个键页面明确显示“暂未公布招生目录”。随后已入库:`dir_hist` 新增 937 行,`pd_dir_detail` 写入/覆盖 2,231 行;批次回执 `运行暂存/pd_new_dx_gap_20261031.json`,备份 `运行暂存/入库前备份/20261031_pd_new_dx_new9_pre/`。 +- 8 个“源侧未发布”键为:南方科技大学 `0708Z1`、`0801Z1`、`0801Z2`;太原师范学院 `0705Z2`、`1301Z1`;西安工程大学 `1201J3`;郑州航空工业管理学院 `0202Z1`、`0825Z1`。这 8 个不是解析失败,应归为“当前源站未公布目标年份”。分类证据在 `运行暂存/pd_new_dx_empty_classification_20261031.json`。 +- new9 入库后的中间复算结果曾为 4,191 个缺口键/522 校;随后全量 CHSI 2027 年份缺口补采将其闭合,当前值见下方“CHSI 全键闭合”。中间归因快照曾写入 `审计报告/2027目录缺口归因_20261031.csv`,当前文件已改为零行(只有列头)。 +- new9 后、CHSI 全键闭合前,2027 `dir_hist` 曾仅剩西安工程大学 `081400` 一个招生人数空值;当前该行已经按 CHSI 方向级文本“研究方向:0”回填为官方 `0`。当前还剩 138 个招生人数空值,均为 CHSI 只给到“院系所/一级学科”汇总的层级,不能推定为专业计划或按零值填充。 +- 第三方来源已实采入库,但没有覆盖官方事实层:`neworiental_major_lines` 当前 253,290 行(2022-2026,其中 2026 年 52,862 行),本轮新增 185,727 行;状态为 `reference_only=241,546`、`conflict=11,744`。`zgc_major_lines` 当前 94,873 行(2020-2024),本轮新增 55,353 行,其中 `school_code_unresolved=3,110` 等行带质量标记。另有 `neworiental_2027_catalog` 51,299 行、`qihang_tuition` 2,148 行。`source_recovery_facts` 共 287,080 行:205,463 第三方候选、60,227 参考暂存、21,390 待官方核验。上述数据作为分层第三方/参考数据保留;不能直接覆盖 `global_facts`,候选值进入事实交付层前仍需来源和业务键核验。 +- 多代理来源复核的下一批优先级: + - 中国传媒大学 2027 官方目录(`https://yz.cuc.edu.cn/2026/0930/c8550a274510/page.htm`):官方页有 53 个独立键,当前 CHSI 59 键,属于官方页面漏扫/代码交叉差异,优先补证据,不把第三方页面直接入事实层。 + - 中国人民大学 2027 官方目录(`https://pgs.ruc.edu.cn/info/1041/3636.htm`):当前解析 61 个独立键,需按最新页面哈希重解析;与本地 CHSI 仍有 3 个键差异。 + - 广州中医药大学 2027 官方目录(`https://yjsy.gzucm.edu.cn/info/1004/19796.htm`):官方 60 键,点对点表少 9 键,适合直接补采;参考书图片页需单独 OCR,不与目录事实混写。 + - 上海市委党校 2027 官方通知(`https://yjs.sdx.sh.cn/info/1002/18551.htm`):官方学费/学制与当前点对点值冲突,先登记 conflict evidence,禁止覆盖现有值。 + - 南京艺术学院目录、南京农业大学学费 DOCX、陕西理工大学学费页、华南师大动态目录均已确认可访问或存在附件;其中验证码/动态壳只记为访问边界,不把失败响应归为“没有数据”。 +- 两个高收益影子新 ID(中国科学院大学 `3153`、江苏师范大学 `2965`)抽样 24 键全部 HTTP 200 且有 2027 记录,确认是旧映射造成的采集缺口。全量影子请求因上游慢响应/限流中止,未写库、未改 `pd_alias_v2.json` 或 `pd_gap_state.json`;脚本现在支持 `--timeout/--retries/--limit/--offset`,后续按小批次继续。 + +### CHSI 全键闭合(2026-10-31) + +- 对照分母 `chsi_2027_dir` 的 37,213 个 `(院校,专业代码)` 键,分轮按可计算专业计划、独立自设专业码、年份切片缺失追加官方行:`dir_hist` 分别新增 1,766、2,115、2,918 行。自设码批次 2,099 行按 `enroll_str` 有可解析数值,16 行只有学科/院系级;年份补采 2,881 行有专业数值,37 行只有较高层级。 +- 加上前面的临时结构解析 2 行和 Popedu 新 ID 937 行,CHSI 全键闭合批次共新增 7,738 行;从 `dir_hist=155,146` 增至 `162,884`。三批 CHSI 回执分别在 `运行暂存/agent_ingest_20261031/dirhist_chsi_backfill_receipt.json`、`chsi_selfdesigned_receipt.json`、`chsi_2027_year_backfill_receipt.json`,各自 dry-run 清单及完整库备份也保存在相邻目录/`运行暂存/入库前备份/`。 +- CHSI 分母闭合当时逐键 `EXCEPT` 为 **0 键 / 0 校**。之后按多代理发现的院校官网独有目录做交叉核验:中传官网列出 CHSI 未列的 `025800`、`0503Z6`,人大官网列出 CHSI 未列的 `045100`、`055300`、`125600`;五键在本地表原先均不存在,现已依据官方原页补入 `dir_hist`,实际新增 5 行。官网原页、SHA-256、解析行和入库回执在 `运行暂存/official_catalog_refresh_2027_cuc_ruc_20261031/`(`cuc.html`、`ruc.html`、`receipt.json`);入库前行备份在 `运行暂存/入库前备份/20261031_official_cuc_ruc_pre/dir_hist_target_rows.csv`。当前 `dir_hist` 2027 为 37,265 键/908 校,其中比 CHSI 分母多 52 键;这 52 个是 CHSI 以外官网/来源记录,不是缺口。CHSI 缺口归因 CSV 仍为 0 行,因为其分母只代表 CHSI 当前键。 +- 中传官网明确给出两个专业的拟招总人数 `025800=15`、`0503Z6=30`,已按官网总计划写入。人大官网表没有招生计划列,三键只写入专业键和官方来源,计划值保留空,不从学制、学费或科目推算。 +- 2027 `dir_hist` 招生人数空值当前 141 行:138 行来自 CHSI 仅给“院系所/一级学科:N”的较高层级(普通目录 122、自设码 16),不可降格成专业计划;另 3 行是人大官网目录本身没有招生计划字段。西安工程大学 `081400` 的四条 CHSI `研究方向:0` 方向记录按方向级文本值求和后回填为官方 `0`;备份和回执在 `运行暂存/入库前备份/20261031_dirhist_xian081400_pre.csv`、`运行暂存/agent_ingest_20261031/dirhist_xian081400_receipt.json`。 +- 归因结论:最初 4,419 键中,Popedu stale ID/映射缺失和解析结构问题属于采集遗漏;已由 CHSI 37,213 键全量对照与官网增补五键闭合。当前没有已确认而未入库的上述目录键;Popedu 新 dx 的 8 个“暂未公布招生目录”码属于第三方页面明确未发布,不能等同官方 CHSI 目录缺口。招生人数空值 141 是源数据粒度不足或官网不提供该字段,不是解析器漏抓。 +- `--include-shadow` 两校影子 ID 只完成 24 键样本,24/24 有 2027 行;两次全量请求因上游慢响应/限流中止,不能报全量命中,也没有影子批次写库。CHSI 目录键闭合后,这两校 ID 后续仅适合补 `pd_dir_detail` 的科目、学费、学制等字段,需另建按 `pd_dir_detail` 缺字段选键的限速任务。 +- 官网五键入库后的数据库审计:`run_audit_ci.py --fact` 退出 0 且硬性项全 PASS;数据质量、四维、全表扫描均退出 0;全表 191 张、2,816 个字段剖面、254 项问题(P4=253、P5=1);`PRAGMA quick_check=ok`。日志为 `运行暂存/logs/run_audit_ci_20261031_final_after_official_cuc_ruc.log`、`audit_data_quality_20261031_final_after_official_cuc_ruc.log`、`audit_four_dims_20261031_final_after_official_cuc_ruc.log`、`audit_all_tables_20261031_final_after_official_cuc_ruc.log`、`sqlite_quick_check_20261031_final_after_official_cuc_ruc.log`。 + +## 验证 + +- `运行暂存/logs/run_audit_ci_20261031_post_gap.log`:`run_audit_ci.py --fact`,C10/C1/C3/C6/C7 PASS,全部硬性自检通过;C4/C8 为不阻断提示。 +- `运行暂存/logs/audit_data_quality_20261031_post_gap.log`:脚本退出成功;保留源侧缺值告警,包括 `dir_hist` 招生人数空 21,718、`pd_dir_detail` 学费空 2,339、`fact_score` 分数空 6,143。 +- `运行暂存/logs/audit_four_dims_20261031_post_gap.log`:四维台账 4 项,P0=1、P1=1、P2=2;分数线越段 107 行,CHSI 与点对点人数差异 >10 的键 3,573。 +- `运行暂存/logs/audit_all_tables_20261031_post_gap.log`:189 张表、2,780 个字段剖面,255 条问题,全部为 P4/P5(P4 254,P5 1),脚本正常退出。 +- 最新官方目录 PDF 入库完成后,`数据库/zexiao_2027.db` 的 SQLite `PRAGMA quick_check` 返回 `ok`。 +- 附件登记后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_attach.log`、`audit_data_quality_20261031_post_attach.log`、`audit_four_dims_20261031_post_attach.log`、`audit_all_tables_20261031_post_attach.log`;结果与登记前一致,事实层硬性项通过。 +- 官方目录 PDF 入库后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_catalog_pdf.log`、`audit_data_quality_20261031_post_catalog_pdf.log`、`audit_four_dims_20261031_post_catalog_pdf.log`、`audit_all_tables_20261031_post_catalog_pdf.log`;硬性 CI 通过,全表问题仍为 P4=254、P5=1。 +- PDF 正文回填后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_pdf_body.log`、`audit_data_quality_20261031_post_pdf_body.log`、`audit_four_dims_20261031_post_pdf_body.log`、`audit_all_tables_20261031_post_pdf_body.log`;CI 硬性项通过,数据质量和四维结果仍为既有源侧缺值/粒度差异告警,全表仍为 189 张表、2,780 个字段剖面、255 条问题(P4=254、P5=1)。 +- 正文回填后的当前 `数据库/zexiao_2027.db` SQLite `PRAGMA quick_check` 返回 `ok`。 +- 山东医药大学 7 行目录追加后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_catalog_pdf_additional.log`、`audit_data_quality_20261031_post_catalog_pdf_additional.log`、`audit_four_dims_20261031_post_catalog_pdf_additional.log`、`audit_all_tables_20261031_post_catalog_pdf_additional.log`;CI 全部硬性项通过,数据质量与四维结果未新增异常,全表仍为 189 张表、2,780 个字段剖面、255 条问题(P4=254、P5=1)。 +- 目录追加后的当前 `数据库/zexiao_2027.db` SQLite `PRAGMA quick_check` 返回 `ok`。 +- 隐藏附件登记后的最终复核日志:`运行暂存/logs/run_audit_ci_20261031_post_hidden_attach_utf8.log`(`exit 0`,全部硬性自检通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_hidden_attach.log`(`exit 0`)、`audit_four_dims_20261031_post_hidden_attach.log`(`exit 0`)、`audit_all_tables_20261031_post_hidden_attach.log`(`exit 0`,189 表/2,780 字段剖面/255 问题)。 +- 隐藏附件登记后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_hidden_attach.log` 返回 `ok`;17 个新增文件均已按本地字节数与 SHA-1 登记闭合。 +- 17 个新增文件逐条本地闭合复核日志 `运行暂存/logs/hidden_attach_closure_20261031.log`:`rows=17 ok=17 errors=0 bytes=2865180`。 +- 附件登记后已重导出近 60 天通知交付清单:`运行暂存/logs/report_20261031_post_hidden_attach.log`(1,113 条),`最新通知.md`/`最新通知.csv` 已显示新增附件数量。 +- `数据库/verify_db.py` 的通知规模/去重检查通过,但因迁移后缺少 `站点/data/meta.json`、历史来源文件和部分历史本地附件路径而不能宣称完整验证通过。 +- 全量 2027 附件批次后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_official_all_attach_utf8.log`(全部硬性自检通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_official_all_attach.log`(既有源侧缺值告警)、`audit_all_tables_20261031_post_official_all_attach.log`(189 表/2,780 字段剖面/255 问题)、`audit_four_dims_20261031_post_official_all_attach.log`(P0=1/P1=1/P2=2)。 +- 同批次 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_official_all_attach.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_official_all_attach.log`,重新导出 `最新通知.md`/`最新通知.csv` 共 1,113 条。 +- 直链恢复批次后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_direct_repair_utf8.log`(硬性自检通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_direct_repair.log`(既有源侧缺值告警)、`audit_all_tables_20261031_post_direct_repair.log`(189 表/2,780 字段剖面/255 问题)、`audit_four_dims_20261031_post_direct_repair.log`(P0=1/P1=1/P2=2)。 +- 直链恢复后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_direct_repair.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_direct_repair.log`,`最新通知.md`/`最新通知.csv` 仍为 1,113 条。 +- 下载端点补采后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_download_endpoint_utf8_retry.log`(exit 0,全部硬性项通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_download_endpoint.log`(exit 0,保留既有源侧缺值告警)、`audit_all_tables_20261031_post_download_endpoint.log`(189 表/2,780 字段剖面/255 问题,P4=254/P5=1)、`audit_four_dims_20261031_post_download_endpoint.log`(exit 0,P0=1/P1=1/P2=2)。首次 CI 日志的 GBK 子进程编码失败保留在 `run_audit_ci_20261031_post_download_endpoint_utf8.log`,重跑已用 `PYTHONIOENCODING=utf-8` 通过。 +- 下载端点补采后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_download_endpoint.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_download_endpoint.log`,`最新通知.md`/`最新通知.csv` 共 1,113 条。 +- 正文隐藏附件补采后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_body_attachment_utf8.log`(exit 0,全部硬性项通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_body_attachment.log`(exit 0,保留既有源侧缺值提示)、`audit_all_tables_20261031_post_body_attachment.log`(189 表/2,780 字段剖面/255 问题,P4=254/P5=1)、`audit_four_dims_20261031_post_body_attachment.log`(exit 0,P0=1/P1=1/P2=2)。 +- 正文隐藏附件补采后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_body_attachment.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_body_attachment.log`,`最新通知.md`/`最新通知.csv` 共 1,113 条。 +- `dir_hist` CHSI 回填后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_dirhist_chsi_utf8.log`(exit 0,全部硬性项通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_dirhist_chsi.log`(exit 0,2027 空招生人数为 0,历史源侧空值由 21,718 降至 21,683)、`audit_all_tables_20261031_post_dirhist_chsi.log`(189 表/2,780 字段剖面/255 问题,P4=254/P5=1)、`audit_four_dims_20261031_post_dirhist_chsi.log`(exit 0,P0=1/P1=1/P2=2)。 +- `dir_hist` CHSI 回填后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_dirhist_chsi.log` 返回 `ok`。 + +## 下一步 + +1. 用户恢复 ggyx 登录态后,先按 2027、2026、2025 小批量验证 `collect_exam.py`、`collect_fs_dest_year.py`、`collect_getfs_hist.py`,再决定全量;登录失效期间不要重复跑接口。 +2. 浙江万里学院、潍坊学院和山东医药大学的官方目录 PDF 已解析并入 `dir_hist`;上海海关学院目录与现有行一致;湖北省委党校和齐齐哈尔医学院 PDF 已完成只读交叉核验;其余 PDF/RAR(中国戏曲学院、鞍山师范及考试大纲)按文件类型继续抽取或只做证据归档,不把大纲内容混入目录表。本机当前未发现 `7z`/`unrar`/`rarfile` 解包器,两个 RAR 暂只保留原件和入库回执。全量 2027 页面扫描、直链恢复、下载端点和正文隐藏附件补采已完成,当前 619 条官方页面仍无可登记附件(近 30 天 24 条),后续只对新出现的页面做增量复查。 +3. CHSI 2027 当前键缺口为 0;不再按旧的 956 个未映射键清单开补采任务。后续第三方 Popedu shadow ID 只针对 `pd_dir_detail` 缺科目/学费/学制的 2027、2026、2025 行做限速分批,避免重复补已闭合的目录主键。 +4. 对东北师范大学等旧入口失效但新站可访问的院校,单独解析新站隐藏参数后再入库;不直接把裸接口 500 判为无目录。 + diff --git a/docs/agent_handoffs/20261031_新东方院校库年份补数勘察.md b/docs/agent_handoffs/20261031_新东方院校库年份补数勘察.md new file mode 100644 index 000000000..a8f2dbcfa --- /dev/null +++ b/docs/agent_handoffs/20261031_新东方院校库年份补数勘察.md @@ -0,0 +1,18 @@ +# 2026-10-31 新东方院校库(college.koolearn.com)年份补数勘察 + +## 目标 +核查该源还能补哪些年份/院校,区分「源侧没有」与「我们没取全」。只读,未写库。 + +## DONE +- 签名常量确认:`appId=seoCollege`、`appSecret=appSecret_bkmRpBWSQrKkaw61`(前端明文),出处 `_归档/_待删_20261022/.../qoder_slot_fill_02_20260927/scripts/koolearn.py`;`pageSize=200` 单页可取全(10001/2026 157 行一次返回)。 +- 年份探活(80 请求):year=2022~2027 全部生效(返回体 `year` 与主键集合均随参数变化,非静默忽略)。**2027 已有 908 校目录骨架**(university-list 907/908 条全部 year=2027),但 `professionalLineScore`/`enrollNum`/`adjustNum` 全空或 0,仅 `applicantsNum` 有值且系历史沿用(北大金融 2022–2027 连续 28),不可当 2027 报名数。 +- 盘上有、库里没有:`qoder_slot_fill_13_20260927/out/koolearn_逐专业_调剂与录取实绩_{2022,2023,2024}.csv` = 47,249/49,880/49,989 行、817/852/856 校(含 985×39、211×77、双一流×31 全覆盖),原始响应 `raw/koolearn_scoreline/{2022,2023,2024}` 共 2,137 个 JSON 仍在。库内 `neworiental_major_lines` 仅 2025(34,048/403 校)、2026(33,515/409 校)。 +- 2026「409 校」不是源上限:库缺的 24 所 985/211(人大、中国农大、中央民大、西农、北中医、北外、中传、央财、对外经贸、北体、中央音乐、中国政法、天医、东北农大、上外、上财、矿大、中国药科、华中农大、中南财经政法、西南财大、西藏大学、海军军医、空军军医)探活 2026 全部有数据(total 14–155);普通校抽样 9/10 有数据。 + +## 证据 +`D:\择校\运行暂存\agent_probe_20261031\koolearn\`:probe_log.json、probe2_summary.json、probe3_gap.json、probe4_plain.json、university_list_all.json、gap_candidates.json、ps200_10001_2026.json 及原始响应。 + +## TODO / 下一步 +1. 2022–2024 直接回放入库(零采集,147,118 行);`researchAreaLearnType`(study_mode)需从 raw JSON 或 `s12_koolearn_2022_rows.csv` 补。 +2. 重采 2025/2026 全量(约 856 校×2 年,pageSize=200 基本 1 页/校,≈1,800 请求)。 +3. 2027 仅入目录键,禁止写 score_line/admit_count。 diff --git a/docs/agent_handoffs/20261031_本地第三方入库与全表缺口复核.md b/docs/agent_handoffs/20261031_本地第三方入库与全表缺口复核.md new file mode 100644 index 000000000..5fbd674e5 --- /dev/null +++ b/docs/agent_handoffs/20261031_本地第三方入库与全表缺口复核.md @@ -0,0 +1,32 @@ +# 2026-10-31 本地第三方入库与全表缺口复核 + +- 目标:优先复核可追溯本地原件,分清真实源侧无、采集/整合缺失和语义待核,并完成全表盘点。 +- 中公 2023/2024 写后全表审计:208 个对象、206 张非空表、3,053 字段剖面、249 条提示(P4=248/52 表,P5=1);退出码 0,19.4 分钟。P5 为 `fact_admission.score=627`,原始 `ggyx_admission_list.cs_all_result` 可复现,保留源值。2026/2025 较早快照仍分别保存在 `post_2026_pre_2025_audit_outputs/`、`prewrite_audit_outputs/`。 +- 最新全表日志:`审计报告/local_ingest_20261031/logs/audit_all_tables_post_zhonggong20261031.log`;逐项结果:`审计报告/全表审计_问题清单.csv`、`审计报告/逐项审计_缺口专业清单.csv`、`审计报告/逐项审计_缺口校清单.csv`。全表总账为 `global_facts=3,410,579`、`global_fact_evidence=3,542,809`、`global_source_row_ledger=1,917,492`;较中公写入前各增加 90,734。 +- 当前专业缺口 CSV 54,172 行、折叠后 15,604 个年份×学校×专业键、1,322 个年份×学校组合;2026/2027 分别 33,699/20,473 行。学校缺口 CSV 5,250 行、2,170 个年份×学校组合、565 校;归因 188 零散待复核、1,873 源上限、111 用户决定跳过 2022、206 同源上限未证、2,434 无官方名单/应然分母不可得、438 已量化分母下来源覆盖不足。 +- 2026 专业硬分母 38,228、2027 为 37,213;2026 目录/点对点/学费/学制缺口 8,295/8,295/8,715/8,394;2027 点对点/学费/学制 6,824/6,824/6,825。 +- 2024/2025 本校名单端点源侧无;2023 名单与单科线已对 75 键测试零命中;2022 是明确跳过;不可把这些混作单一“漏采”。 +- Koolearn 2025/26 的 11 字段已写入 742,351 source-observation facts、745,990 evidence、745,990 ledger;3,639 同值、1 冲突保留,六个 batch 不得重提 facts,metadata closeout 待修复。 +- 2026 `applicantsNum -> applicants` stage 50,979 行,SHA `58878784afa0a1bf0382bb069fa2ad02f0e59ffd83f351d3691db7a96036d855`;50,726 新、253 同值、0 冲突,预检 PASS。 +- 2026 writer 第一次因 D 盘 10.03 GiB 被拒;资源恢复后第二次成功提交:50,726 facts、50,979 evidence、50,979 ledger,253 same、0 conflict,`PASS`。receipt `审计报告/local_ingest_20261031/writer_receipts/koolearn_applicants_2026_20261031_r1.json`。management closeout `PENDING_METADATA_CLOSEOUT`,缺 `chinakaoyan_2026_residual_pdf_text_20261017/residual_batch_input_selection.json`;生产提交保留,不得重提 facts。第一次拒绝日志仍在 `审计报告/local_ingest_20261031/logs/koolearn_applicants_2026_writer_gate_reject_20261031.log`。 +- 2025 `applicantsNum -> applicants` 已提交:941 文件、51,525 行;新增 51,131 个 `source_observation` fact、51,525 evidence、51,525 ledger,394 同值、0 冲突,writer `PASS`。提交前刷新预检 PASS,stage 89,030,314 字节,SHA `6003046f6d5e103b7acd72d5388b24451d2f59bbf73650c57ee8c6e527ad4b31`;只读回读三张表行数与回执一致。回执 `审计报告/local_ingest_20261031/writer_receipts/koolearn_applicants_2025_20261031_r1.json`。 +- 2025 closeout 为 `PENDING_METADATA_CLOSEOUT`,因为缺历史 `chinakaoyan_2026_residual_pdf_text_20261017/residual_batch_input_selection.json`;生产提交保留,不得重提 facts。closeout receipt `审计报告/global_writer_stages/writer_closeouts/d346592868e1266dda4e334e.json`。 +- 已确认 Koolearn 原始 `applicantsNum` 被历史采集脚本写入 `neworiental_major_lines.plan_count`(表名为旧命名,来源不是新东方),后续再误当招生计划填入 `dir_hist.招生人数`。只读复原回填前备份并与当前库逐行对账后,11,177 行全部唯一闭合到 `rowid`(2025=6,392、2026=4,785;重复/值歧义=0);主库指纹未变化。明细 `审计报告/local_ingest_20261031/dirhist_koolearn_semantic_backfill_rows_20261031.csv`,SHA `d8f5e37f4473d58136a308fc5de485f4fa3e516973307a646710f9b43e60927a`;摘要 `审计报告/local_ingest_20261031/dirhist_koolearn_semantic_backfill_reconstruction_20261031.json`,PASS_EXACT_ROWID_CLOSED。此 11,177 行不得计作招生计划。当前空值 1,762(2022=589、2023=142、2024=720、2025=131、2026=39、2027=141),按语义重算待核候选合计 12,939;`dir_hist` 现有 10 列无 `data_flag`,后续必须先确定已登记的 sidecar 标记方案或受控 schema 变更,保留原值。 +- Koolearn `onlineNum -> apply_count/online_apply` 的含义未由源端标签闭合;既有 third-party observation 保持低可信,不视作报考人数,不覆盖既有值。 +- 中公写后四项审计均退出码 0:CI 硬性项 PASS;数据质量 222 字段剖面/30 逻辑项;全表 208/206 对象/非空表、3,053 字段、249 提示;四维 P0=1/P1=1/P2=2。四维 P0 为 `pd_dir_detail.enroll_num` 粒度差异;P1 为 2026 名单人数与复试线录取数 13,623/14,579 逐组不等、总量比值 0.990;P2 为 107 个分数线越界键和学费缺少跨源比较。四类日志均在 `审计报告/local_ingest_20261031/logs/`。 +- 分母/校映射差异:当前 `src_major_catalog` 原始 `(school_id,专业代码)` 为 936 个 ID/38,231 键;规范映射矩阵为 B2/B3/G2=`1,020/935/38,230`。`school_id=2781/3635` 的 100203“老年医学”被同名映射合并,解释 1 键差。主库新增映射 `school_id=3648`“陆军航空兵学院”不在 `ggyx.db::dim_school` 1,038 条源表中(主库 `_ingested_at=NULL`),其 4 条目录记录去重为 115300、115600 两键;排除它后规范化数值回到旧文档 B2/B3/G2=`1,019/934/38,228`。用户规则 B2=1,039 是当前原始 ID 数,与规范化 B2 不同口径;10/20 handoff 有 raw 936/38,231 记录,但未发现旧逐键 manifest。需补 3648 来源链后再更新分母基线,不重报覆盖率。 +- 中公本地原件已入库:2024(210 文件/13,178 行,7 行身份不完整、6,418 个字面零值排除、1 个负值原样保留)新增 72,608 条 source-observation fact、evidence 和 source ledger,0 same/0 conflict;2023(71 文件/3,133 行,672 个字面零值排除)新增 18,126 条三类记录,0 same/0 conflict。合计新增 90,734 个第三方来源观察。2024 stage SHA `ab6ad6909e4fd05573aaa82d4d66bf5d5356cd5f505362a808b60356aae93fb6`,2023 stage SHA `44e14ba728e817cbbeae10ce1a827d181d6b64ff6a033cb4dc85567a08293904`;两批 writer receipt 在 `审计报告/local_ingest_20261031/zhonggong_api/writer_receipts/`,适配器为 `审计报告/local_ingest_20261031/ingest_zhonggong_api_20261031.py`。旧表 `zgc_major_lines` 与原件值精确相等,缺口归为统一事实层整合缺失;这些仍是第三方来源观察,不代表官方产品值。负值 `recruit_count=-8` 已原样留存并在 evidence metadata 标记,不应当作有效招生数;7 条身份不完整行及其 40 个非零指标未入库。 +- 中公观察入库后,专业缺口清单仍为 54,172 行/15,604 个唯一键,学校缺口清单仍为 5,250 行;事实层 CI、数据质量、全表扫描和四维审计均已退出码 0。Koolearn 11,177 行语义映射仍需确定已登记的 sidecar 或受控 schema 方案。 +- 原件、stage、报告和日志放在 `审计报告`;不把业务数据批次放入 `运行暂存`。规范 writer 只更新项目已有的共享 reservation/artifact registry 控制文件。 +- 第三方发现的高价值线索:对外经贸 2017–2026 官方统计列表、华南理工 2025 官方统计页 + 聚创专业 PDF、易考研目录索引、咕咕 2026 目录 API 文档、中国考研网 2026/2027 学费文章。均尚未下载/散列/解析/入库;不能把来源 locator 当覆盖完成。具体样本及边界写在 `审计报告/local_ingest_20261031/full_table_gap_reconciliation_20261031.md`。 +- 详细口径和计数见 `审计报告/local_ingest_20261031/full_table_gap_reconciliation_20261031.md`;不覆盖 10 月 21 日历史全表报告。 +- 2026 本地官方招生目录 PDF 已复核官网原件并入库:北体 26 个专业代码逐码闭合、27 个专业×学习方式计划行;广艺 11 个代码逐码闭合、78 个方向行。Stage SHA `923aa5607dffe9d24c6a200d173632299c70c270411906b6f66de0223f85dce3`;新增 373 facts、373 evidence、373 ledger,same=0/conflict=0,writer `PASS`,状态均为 `source_observation`。字段与来源 hash 见 `审计报告/local_ingest_20261031/official_catalog_pdfs/official_catalog_pdfs_ingestion_20261031.md`。 +- 广艺 78 个官方方向与现有 `pd_dir_detail` 扁平方向文本精确重合 73/75 个;5 个官方方向未进入现有明细,2 个旧方向不在 2026 PDF。已确认是采集/整合差异,不是源侧无数据;不能将 2026 北体拟定计划或广艺目录行直接改成产品事实。 +- PDF 入库后四项写后审计均完成:CI 硬性项 PASS,数据质量 222 字段剖面/30 项,全表 208/206 对象/非空表、3,053 字段剖面、249 提示,四维 P0=1/P1=1/P2=2。当前专业缺口仍 54,172 行(2026=33,699、2027=20,473),院校缺口 5,250 行;本批未改变产品层分母。 +- 本批 source PDF、stage、receipt、报告、日志全部在 `审计报告`,未在 `运行暂存` 放入业务数据。Management closeout 因历史 `chinakaoyan_2026_residual_pdf_text_20261017/residual_batch_input_selection.json` 缺失而 `PENDING_METADATA_CLOSEOUT`;生产提交保留,禁止重提 facts。 +- 2026-11-01 续记:全表审计在 2026-10-31 23:59 完成,扫描 210 张表、3,116 个字段剖面、249 条提示(P4=248、P5=1);日志副本 `审计报告/local_ingest_20261031/logs/audit_all_tables_full_scan_20261031.log`,SHA-256=`3beccd392f1e885bc6049a7dc059fed986d6068ce819f39da9657026479c5e78c`。当前逐项缺口仍为专业 54,172 行/15,604 键、学校 5,250 行;CSV 时间戳 23:21,之后没有生产库写入。 +- 高顿 2025/2026 本地 8 篇 HTML、838 行,预检形成 2,924 条来源观察候选(新 2,924、同值 0、冲突 0),stage 7,500,980 B,SHA-256=`99564f348d2b1217ebe90555a8885e570bfad6e7c1a83835187a40ded062baa6`。两次提交均在生产事务前被门禁拒绝:先缺 artifact claim,修正后当时 D 盘可用空间 11.08 GiB、writer 最低 12 GiB;最新全表审计后当前余量约 8.7 GiB。未写入生产库。脚本 `审计报告/local_ingest_20261031/ingest_gaodun_observations_20261031.py` 已增加数据库指纹、artifact 登记和 stage 生成前磁盘门槛;AST 解析 PASS。stage、原 HTML 和预检均在 `审计报告`。 +- 本地高优先级待入库候选:郑州大学 2026 官方复试线 372 行,其中 368 行有完整五科线,共 1,840 个唯一新字段键(同值/冲突/碰撞均 0);上海海关学院官方图像 7 行、21 个新阈值字段键,须保留“单科满分=100/>100”口径。两项已做只读精确键探测,尚未建 stage 或入库。 +- 南开合并官方 PDF(42 页)覆盖 2026/2025:2026 220 个方向行、2025 228 个方向行;旧解析把跨年行全标为 2025,SQLite 旧表 595 行也全标 2025。按页码,2026 有 52 条错年挂载值和 168 条未入旧表,2025 有 11/53 行已存在且其余 217 行未见;需从原 PDF 重解析并在正确年份留来源观察,不能沿用旧 CSV。原件目前位于既有 `运行暂存/baolubi_2023_2025/raw/`,未复制或改写。 +- 浙江师大 2025 官方 PDF 123 行/341 个非空候选字段,精确 business-key 去重待完成;其 43 个粗粒度录取值差异是冲突候选,不可覆盖。江苏大学 2025 的 708 个字段值已由历史批次 `ujs_2025_4f91da6c2643667a` 完整入库,不重提。2027 学费/学制本地官方原件未找到,这只表示本地留存缺失;易考研 939 条目录记录在本地目录键缺口中新增 0。 +- 空间约束:`审计报告/global_writer_stages` 现占约 1.455 GiB;其中 325.5 MB 的 Koolearn oversize-failed stage 未查明是否完全冗余,未动。旧整库快照 `prewrite_snapshot/zexiao_2027_prewrite_20261031.db`(14,551,638,016 B)和较新快照均保留;较旧快照删除授权待用户答复。空间低于 12 GiB 时不启动 writer、不复制原件、不生成新 stage。 diff --git a/docs/agent_handoffs/20261031_研招网tjzc调剂公告10校抽样.md b/docs/agent_handoffs/20261031_研招网tjzc调剂公告10校抽样.md new file mode 100644 index 000000000..1302522ab --- /dev/null +++ b/docs/agent_handoffs/20261031_研招网tjzc调剂公告10校抽样.md @@ -0,0 +1,30 @@ +# 2026-10-31 研招网 tjzc 调剂公告:10 校抽样验证(批量可行性) + +## 目标 + +验证 `yz.chsi.com.cn/sch/tjzc--method-listPub` 入口能否批量发现 2025/2026 官方调剂公告,并从正文/外链取到逐专业缺额;只读、不写库、不改 tracked 脚本、不碰调剂服务系统与登录。 + +## 已完成 + +1. **院校全集**:院校库 `sch/search.do?start=0..920`(步长 20、47 页)→ 936 个招生单位(985=39、211=108),**全部带 tjzc 栏目**,各校 `categoryId` 已提取;校名与库内 `ggyx_dim_school` 匹配 917/936(97.9%)。 +2. **10 校抽样**(北大、兰大、广西大、内蒙大、南信大、杭电、上海师大、温医大、江苏大、中国电科研究生院):schoolInfo 校验 categoryId 一致;列表共 **36 条**公告(2026=10、2025=9、2024=6、2023=6、2022=5),**2026 覆盖 10/10,2025 覆盖 8/10**;列表无分页、每校每年约 1 篇总办法。 +3. **正文 18 篇**(每校 2026+2025):**0 篇含表格、0 篇含逐专业缺额**;8 篇含文本 URL,其中 5 篇(27.8%)指向院校官网内容页(内蒙大 2、江苏大 1、广西大 1、上海师大 1)。 +4. **外链跟随 5 条**:内蒙大 2026「拟调剂专业说明」→ 官网 → **PDF 附件**,含 10 页表格 42 行/36 专业/合计 1,075 人,字段:序号·计划类型·学院代码·学院名称·专业代码·专业名称·学习方式·**拟调剂人数**·调剂要求。两条 2025 外链(1987.htm、1978.htm)**已 404**。 +5. **库内对比**:内蒙大 2026 PDF 36 码中库内仅 6 码 → **净新增 30 码 / 35 行**,且库内 `adjust_notice_majors` 无「拟调剂人数」字段(先例仅 `official_adjust_quota_2024`,1 校 13 行)。库内 2026=5,182 篇/822 校,2025=2,722 篇/696 校;936 校中 2026 零覆盖 130 校、2025 零覆盖 279 校。 + +## 结论 + +- 公告发现层:**可用但增量小**(每校每年 1 篇,库内已覆盖 822/696 校),仅补零覆盖校 80–190 篇/年。 +- 逐专业缺额:**只在官网 PDF 里**,约 10% 校挂此类附件;外链 1 年后 404,**必须当季(3–4 月)采集**。 +- 请求预算:发现层 936×2 + 正文 ~900 + PDF ~200 ≈ 2,800 次;需会话 cookie(首页种 JSESSIONID,无需登录)。 +- 结论:**有条件值得**——只做「tjzc 公告 → 官网 → PDF 缺额清单」这条链,字段对齐 `official_adjust_quota_2024`。 + +## 证据 + +`运行暂存/agent_probe_20261031/tjzc_2025_2026/`:`summary.json`、`notices_urls.csv`(36 条 URL)、`schools_chsi.json`(936 校)、`views.json`/`views_parsed.json`(18 篇正文)、`ext_views.json`、`ext_imu26_tj.pdf` + `imu26_tj_rows.json`(缺额表样例)、`db_compare.json`、`html/`(列表/正文/院校库原页)、`step*.py`。总请求约 169 次、限速 0.5 s、主库只读。 + +## 未完成 / 下一步 + +- 未逐校验证 PDF 附件比例(仅 1/10 校样本,90–180 校为外推区间)。 +- 未测 2024 及更早外链存活率;未测附件为扫描件(无文本层)的比例。 +- 若立项:先做 30 校当季试采,统计 PDF 命中率与字段可解析率,再决定全量。 diff --git a/docs/agent_handoffs/20261031_第三批来源勘察_高顿小木虫考研村tjzc.md b/docs/agent_handoffs/20261031_第三批来源勘察_高顿小木虫考研村tjzc.md new file mode 100644 index 000000000..0320d22c7 --- /dev/null +++ b/docs/agent_handoffs/20261031_第三批来源勘察_高顿小木虫考研村tjzc.md @@ -0,0 +1,43 @@ +# 2026-10-31 第三批来源勘察(高顿 / 小木虫 / 考研村 / 研招网 tjzc / 自选) + +## 目标 + +对 5 组候选做只读四判据勘察,判断能否批量取数、能补什么字段、估计净新增;不写库、不改 tracked 脚本。 + +## 结论 + +| 源 | 结论 | 能补字段 / 粒度 | 估计净新增 | +|---|---|---|---| +| 高顿(`www.kyzs.com`,即 kaoyan.gaodun.com 首页外链的考研资讯站) | **usable** | 静态 HTML 表格,免登录无 WAF。两类:①2025「报录比公布」系列:学院码/院名、专业码、专业名、学位类型、学习形式、**报名人数/达国家线人数/复试线/推免人数/士兵计划/录取人数**(南邮 80 行、江苏大学 197 行、上海大学 124 行、华东师大 148 行、首经贸 47 行);②2026 复试线:**逐专业单科线(政治/外语/业务课一二)+ 总分**(北交大 103 行、北工大 83 行) | 约 1,000–1,500 行(2025 报考录取 + 2026 单科线) | +| 小木虫 `muchong.com` | **usable_offtopic** | 板块匿名可读(GBK),fid=430「导师招生」下 typeid-2304「硕士招生」;帖子为课题组招生广告,只有校名/学院/方向/名额的文字描述,无专业码、无结构化缺额;当前以博士招生为主 | 0 行结构化 | +| 考研村 `kaoyancun.com` | **dead** | 301 → `www.xyflash.cn/wonda/`(「小程序运营后台」),域名已易主;https 证书主体不匹配 | 0 | +| 研招网 tjzc 调剂公告 | **usable,但只是公告发现器** | `schId-<6位> + categoryId-<每校不同>` 可枚举;列表含 2025/2026 标题+日期;正文为院校自填摘要,多为「办法条款」或「详见××研招网」+ 外链,抽样 5 校 0 个六位专业码、0 张缺额表 | 约 2,000–3,000 条公告 URL(非数值行) | +| 自选 1:`www.kaoyan.com`(学而思考研帮) | **usable_offtopic** | 资讯站,复试线汇总正文是院校官网链接清单(91 校 0 表格);新东方系,与库内 `neworiental_*` 同源 | 0 | +| 自选 2:`kaoyan.100xuexi.com`(圣才) | **usable_offtopic** | 电子书/题库电商,无院校数值 | 0 | +| 附带:`kaoyanmiji.com` | **dead** | 域名变个人博客「生活记事录」 | 0 | +| 附带:`yantubao.com` | **dead** | DNS 不解析 | 0 | +| 附带:`kaoyan.cn`(掌上考研) | **spa_shell** | 已知 SPA 空壳(此前已判定) | 0 | + +## 最值得入库 + +**高顿 kyzs 的「2025 报录比公布」系列**。理由:库内官方报考录取仅 `official_baolubi_2022`(973 行 / 8 校),2023–2025 无同口径官方值;高顿这批文章把院校官方「报名-达线-录取-推免-士兵计划-复试线」整表直出,字段与既有表可对齐,粒度到学院+专业+学习方式。 + +- 发现方式:栏目首页 `/blb/` 只展示 80 条且 `?page=` 被静默忽略(返回同字节);按 article id 邻近扫描可命中(29395–29410 与 29770–29790 实测;29402–29406 即 2025 报录系列)。 +- 抽取要点:正文单个 ``,表头列名随校不同(「报名人数」/「统考报考人数」、「达国家线人数」/「复试分数线」),需按列名映射,不能按列序。 + +## 研招网 tjzc 详情 + +- 入口需真实 schId(6 位 36xxxx,不等于院校代码),`categoryId` 每校不同,须先从 `sch/schoolInfo--schId-.dhtml` 抓 `/sch/tjzc--method-listPub,schId-,categoryId-.dhtml`。 +- 列表条目:`/sch/tjzc--method-viewPub,infoId-,categoryId-,schId-,mindex-.dhtml`;正文需带 Referer + 会话 cookie 才渲染出摘要(裸请求返回「系统提示」)。 +- 正文抽样(北大 / 北化工 / 北方工业 / 内蒙古大学 / 内蒙师大):六位专业码 0、`
` 0;北大正文仅「详见北大研招网。」,内蒙大学给出 2 条官网直达链接。 +- 判定:可作为**官方调剂公告 URL 发现器**(按 schId 枚举,约 1,000 校 × 1 请求 + 每校 1 次 schoolInfo ≈ 2,000 请求),不能直接当逐专业缺额数据源;缺额须回其外链原页解析。 + +## 未完成 / 下一步 + +- 高顿 2025 报录系列未全量枚举(栏目分页失效,需按 id 区间扫描或用站内搜索接口),篇数估计 5–15 篇;2026 复试线仅 2 校有表。 +- tjzc 未做全量枚举实测(仅 5 校抽样);正文是否含附件链接未逐篇统计。 +- 小木虫硕士调剂季(3–4 月)信息密度更高,若要做需届时复测,且按纪律不登录。 + +## 证据 + +`运行暂存/agent_probe_20261031/batch3_sources/`:原始响应(`gd_blb29405.bin`、`gd_blb29406.bin`、`gd_art29782.bin`、`tjzc_367878.bin`、`mc_fid430.bin`、`kycom_91.bin` 等)、`scan_29395_29410.json`、`scan_29770_29790.json`、`fetch.py`、`probe_tjzc.py`、`scan_kyzs_ids.py`。总请求约 100 次,限速 0.3 s,主库只读。 diff --git a/docs/agent_handoffs/20261031_第三批来源搜索与采集.md b/docs/agent_handoffs/20261031_第三批来源搜索与采集.md new file mode 100644 index 000000000..12db7d43d --- /dev/null +++ b/docs/agent_handoffs/20261031_第三批来源搜索与采集.md @@ -0,0 +1,101 @@ +# 2026-10-31 第三批来源搜索与采集 + +## 目标 + +用户要求「继续搜索查找、子 agents 开满」。本轮同时开 7 个只读 agent 分头勘察/采集,再把可入库部分落表。 + +## 七个方向的结论 + +| 方向 | 结论 | +|---|---| +| eduego 续跑 | 仍全局 403(首页/文章/robots 均 564B nginx 页,累计约 2.5 小时);未续跑,基线 25 校 492 行保留在 `运行暂存/eduego_tuition_20261031/` | +| 2027 推免接收人数 | 15 校(11 校逐专业 1,587 行 + 4 校级总);抽样 10/10;未达 30 校,缺口在清华/复旦/武大等只发预报名或扫描件 | +| 2024 官方「其他」原件 | 279 条中 270 成功(字节/SHA 全一致,102.3MB);分类:其他 158、考试大纲 105、参考书目 4、复试名单 3;复试名单 232 人(川大历史学院 191、上海政法 13、华北科技 28);学费 4 行 | +| 无入口院校 2027 目录 | 上一 agent 达轮次上限未完成;已重派聚焦 3 所重点校 + 20 所候选 | +| 研招网 zsgs 拟录取名单 | **硬登录墙**:`/zsgs/mdgs/**` 全部 302 到学信网 CAS 登录(带验证码),不可批量;2025 届无入口;平台公开栏目只有 2026 办法/2027 章程 | +| 研招网 tjzc 调剂公告 | 10 校发现 36 篇公告;正文 0 篇含逐专业缺额;18 篇中 8 篇带外链、5 篇跟进入口、1 篇命中 PDF(内蒙大 2026:42 行/36 专业/1,075 人);外推全量约 3,800 行,但必须当季 3–4 月采集 | +| WebSearch 第四批 | mbaedu.cn 可用(2027 320 所 MBA 学费/学制/计划,数值在图片,需 OCR);xuekepinggu.cn 学科评估 JSON 但 TLS reset;省级考试院、参考书、报录比聚合均源侧真空 | +| 学科评估权威核验 | **第五轮未官方公开**(学位中心 2020 启动、2022 完成但未发布,2023 财新报道不公开;cdgdc/chinadegrees 均 412);库内 `core_xkpg` 5,147 行是第四轮不完整子集(缺 C 类,召回 46%–85%),与 GitHub 镜像交集 2,550 点档位 100% 一致;**无可入库新数据** | + +## 本轮入库(6 张表 / 1,926 行) + +| 表 | 行数 | 说明 | +|---|---:|---| +| `y2027_tuimian_major` | 1,587 | 2027 推免实际接收人数逐专业,11 校;人数 1–248;242 行源表无专业码(北大等) | +| `y2027_tuimian_school_total` | 4 | 校级总数(深大 2,285 含直博 59 等) | +| `official_roster_2024` | 10 | 2024 官方复试名单按专业聚合(3 份/232 人) | +| `official_tuition_2024` | 4 | 官方文件中的学费(河北医科中外合作 21,300 欧元/年等) | +| `official_outline_index_2024` | 279 | 2024 官方原件其他类分类索引(含考试大纲 105、参考书 4) | +| `tjzc_adjust_quota_2026` | 42 | 内蒙大 2026 拟调剂专业缺额(研招网 tjzc 外链 PDF) | + +## 核验 + +- 推免逐专业:人数 1–248;6 位码 1,345、空码 242;同校同院同专业多行 88 组(不同学习方式/方向,非重复入库)。 +- 复试名单:`roster_total` 是整份名单总数、按专业行重复,**禁止 SUM**;已登记字段语义。 +- tjzc:42 行全部 6 位专业码,缺额 1–144,合计 1,075 人。 +- 已登记 `official_roster_2024.roster_total`、`y2027_tuimian_major.major_code` 等 4 条语义。 +- 对目标专业 0856:2027 推免 25 行 / 5 校 / 374 人;2026 调剂缺额 2 行 / 180 人;2024 复试名单样本校无 0856。 + +## 审计 + +- `运行暂存/logs/run_audit_ci_20261031_round3.log`:exit 0,C10/C1/C3/C6/C7 全部 PASS。 +- 全表审计等 4 个后台 agent 回齐后统一跑。 + +## 证据 + +- 推免:`运行暂存/y2027_tuimian_20261031/` +- 2024 其他:`运行暂存/official_recovery_2024_other/` +- zsgs:`运行暂存/agent_probe_20261031/chsi_zsgs/` +- tjzc:`运行暂存/agent_probe_20261031/tjzc_2025_2026/` +- 第四批搜索:`运行暂存/agent_probe_20261031/search_round4/` + +## 额度中断后的离线回收(主线程,不再开新 agent) + +8 个 agent 中 6 个在采集中途撞上 credit 上限中断,但原始件已落盘。主线程改为离线解析回收: + +| 批次 | 盘上原始件 | 回收结果 | +|---|---|---| +| 0856 重点校 2027 目录 | 89 请求已完成 | `m0856_catalog_2027` 63 行 + `m0856_school_status_2027` 20 行 | +| 2023-2026 官方报录比 | 55 条 manifest、39 HTML + 8 PDF + xlsx | 解析 3,377 行 → 校验清洗 2,780 → 入库 `baolubi_2023_2026` 2,584 行 / 7 校 | +| 2023/2024 官方复试线 | 97 条 manifest(多数停在院校首页) | 仅东南大学两页有表 → `web_score_lines_2023_2024` 357 行方向级 | +| 无入口院校 2027 目录 | agent 已写出 out/scu_2027.csv、ustc_2027.csv、cand20_probe.csv | `web_catalog_2027` 406 行(川大 271 + 中科大 135)、`no_channel_probe_2027` 20 行判定 | +| 学科评估核验 | 已完成 | 第五轮未官方公开,无新数据 | + +### 2027 官网目录的口径突破 + +- 川大/中科大官网目录带 `plan_count` 与 `tuimian_count` 两列。 +- 与 `chsi_2027_dir` 交叉:直接相等只有 12/200,但 **计划−推免 后等于研招网「专业:N」MAX 的有 150/200(75%)** → 官网计划数含推免。 +- 因此入库时派生 `plan_unified = plan_count_incl_recommend − tuimian_count`,406 行全部有值;`dim_table_meta.purpose` 已写明该口径。 +- 20 所无入口候选探测判定入 `no_channel_probe_2027`:5 所无研究生院目录、3 所 WAF 412、3 所连接错误、3 所超时、1 所 JS 挑战、1 所需登录、1 所 504、1 所 SSL、1 所 PDF 需点击下载、1 所仅到 2026。 + +### 报录比清洗要点 + +- 按列名语义映射(各校表头不同),不按列序。 +- 丢弃 4 份列错位文件:`EOL_DLUT_2025`、`江苏大学_2024`、`江苏大学_2025`、`浙江师范大学_2025`(admitted 列落到「全日制」)。 +- 数值字段必须为整数,否则整行丢弃;某文件失败率 >40% 则整份丢弃。 +- 南开大学是**方向级**(表头含「研究方向名称」,无专业代码),补 direction 列后不再被误压平。 +- 粒度分布:专业级 981 / 名称级 919 / 方向级 684;`granularity` 已入库,下游不得把名称级/方向级当专业级用。 + +### 东南大学线交叉验证 + +- 与新东方 2023/2024 可比对 241 条:等值 74、官网更高 70(院线>校线,正常)、官网更低 97。 +- 核对原表后确认官网表是**院系所方向级复试线**(表头含研究方向码/名称、总分在末列),与第三方校线不是同一粒度,故差异属口径;已在 `dim_table_meta.purpose` 注明需同粒度比较。 + +## 审计(本轮收口) + +- `运行暂存/logs/run_audit_ci_20261031_round3_final.log`:exit 0,硬性项全 PASS。 +- `运行暂存/logs/audit_four_dims_20261031_round3_final.log`:exit 0,台账 4 项(P0=1/P1=1/P2=2)。 +- `运行暂存/logs/audit_all_tables_20261031_round3_final.log`:全表审计完成(33.8 分钟),**210 表 / 3,116 字段剖面 / 249 问题**(P4 248、P5 1)。较上一轮 256 减少 7 条,正是本轮登记的 7 条字段语义豁免生效;P1/P6 误报已消失。 +- 替代覆盖:新表轻量审计 `运行暂存/agent_ingest_20261031/new_tables_light_audit.json`(本轮 9 张新表无重复主键、无 >50% 空列,且已登记 24 条字段语义);CI、数据质量、四维三项均 exit 0。 +- 待磁盘腾出空间后需补跑一次全表审计;上一次完整结果为 200 表 / 256 问题(22:40 落盘,覆盖本轮 dir_hist 补库后状态)。 +- 表总数 213,changelog 当日 37 条。 +- 磁盘:D 盘剩余从 11G 降到 10G(并行会话仍在写库);本轮产出合计约 970M,清理分级清单与回执见 `审计报告/磁盘清理回执_20261031/README.md`,**未删任何文件,等用户确认**。 + +## 下一步 + +0. **磁盘优先**:D 盘仅剩 10G。清理分级清单见 `审计报告/磁盘清理回执_20261031/README.md`(A 级 615M 可安全删、B 级 133M 是中断未入库件、C 级为并行会话 28G 快照与 4.9G 归档);用户尚未确认,**当前未删任何文件**。腾出空间前先不要再开大批采集/大审计。 + +1. 等 4 个后台 agent:无入口院校 2027 目录、mbaedu OCR、2027 推免补 15 校、0856 重点校目录。 +2. mbaedu 仅 MBA 类,若 OCR 质量合格再入库;不覆盖 0856 学费缺口。 +3. zsgs 名单不碰登录墙;2025 录取名单仍无公开批量源。 +4. eduego 恢复后跑 stageB.py。 diff --git a/docs/agent_handoffs/20261031_第三方来源大规模补入.md b/docs/agent_handoffs/20261031_第三方来源大规模补入.md new file mode 100644 index 000000000..2bb371934 --- /dev/null +++ b/docs/agent_handoffs/20261031_第三方来源大规模补入.md @@ -0,0 +1,126 @@ +# 2026-10-31 第三方来源大规模补入(新东方 / 中公 / 2027 目录键) + +## 目标 + +按用户要求「多找第三方来源补齐、优先能多入库的、判断真空还是缺失」执行:先派 4 个只读 agent 勘察来源与缺口归因,再对可批量入库的源做采集、备份、试算、入库、入库后核验与标记。 + +## 本轮新增入库 + +| 表 | 入库前 | 入库后 | 净新增 | 年份 | 来源 | +|---|---:|---:|---:|---|---| +| `neworiental_major_lines` | 67,563 | 253,290 | 185,727 | 2022–2026 | 新东方 scoreline-list 重采(4,699 请求全成功) | +| `zgc_major_lines` | 39,520 | 94,873 | 55,353 | 2020–2024 | 中公 profession_get_data 全量扫 school_id 1–1191(14,195 请求全成功) | +| `neworiental_2027_catalog`(新表) | 0 | 51,299 | 51,299 | 2027 | 新东方 2027 专业存在性键,907 校;不含任何数值 | +| `dir_hist` | 156,085 | 162,884 | 6,799 | 2027 | 研招网 CHSI 官方目录回填:1,766 缺失键 + 2,115 个自设 Z/J 独立专业码 + 2,918 个年份级缺口键 | +| `qihang_tuition`(新表) | 0 | 2,148 | 2,148 | 2024–2027 | 启航学费表结构化,360 校;分 table/text 两种抽取模式 | + +合计净新增 **301,326 行**。原始响应全部落盘: + +- 新东方:`运行暂存/koolearn_pull_20261031/`(180 MB,manifest 4,699 条) +- 中公:`运行暂存/zhonggong_pull_20261031/`(92 MB,manifest 14,195 条) +- 2027:`运行暂存/koolearn_pull_2027_20261031/`(935 条请求) + +写库前备份:`运行暂存/入库前备份/20261031_thirdparty_hist_pre/`(两表 CSV.gz + SHA-256)。 +标记前再备份:`运行暂存/入库前备份/20261031_flag_pre/`。 + +## 入库前后核验 + +写入前: + +- 新东方试算:249,482 原始唯一键,其中 63,755 与库内旧键重叠,185,727 为新键;主键 `school|major_code|study_mode|degree_type|year|college_code` 唯一。 +- 中公试算:93,945 原始唯一键,新增 55,353;幂等键 `(year, school_id, faculty_name, major_code)`。 +- 抽样对照原始 JSON 与写入值一致(北大 2023 金融、浙江音乐学院 2024 舞蹈)。 +- 随机抽样:新东方 50/50 条全字段一致;中公 50 条中 49 条全字段一致,1 条仅校名/专业名全半角括号写法不同(源侧本身混用),无字段错位;中公补全的院校码抽查 12/12 与 `ggyx_dim_school_code` 一致。 +- 启航学费抽样 10 行与原始 HTML 对照通过(中科大 070100 8000 元/学年、厦大 33000 元/全程、西北大学 120400 8000 元/年)。 + +写入后核验(`运行暂存/agent_ingest_20261031/post_ingest_validation.json`): + +- 新东方:record_pk 重复 0;完整业务键重复 0;`raw_unique 249,482`,`raw_missing_in_db 0`;全日制/非全成对 16,944 组,无异常多行。 +- 中公:94,873 行;新增行 `raw_missing_in_db 0`;`db_rows_not_in_raw 922`(旧批次键,已标记)。 +- 2027 目录:51,299 行 / 907 校 / record_pk 重复 0。 + +### 发现并标记的问题(未删改原值) + +`data_flag` 列已加到两表;标记统计见 `运行暂存/agent_ingest_20261031/data_flag_receipt.json`。 + +| 标记 | 行数 | 含义 | +|---|---:|---| +| `score_out_of_range` | 77 | 新东方源侧分数拼接/错位(如 `3637`、`102402025700047`),不能当分数用 | +| `legacy_code_altered` | 2,590 | 旧批次把含字母自设码剥离成纯数字(如 `0811Z1`→`08112`),与新行键不一致 | +| `legacy_value_differs` | 3,480 | 旧行与本次重采同键但数值不同;重采值来自当前源,旧行保留待裁决 | +| `not_in_current_source` | 1,218 | 旧行在当前源未匹配到,源侧本轮无该键 | +| `school_code_unresolved` | 3,110 | 中公校名无 5 位码(研究院所/军校/分校);本轮用 `ggyx_dim_school_code` 等补全 3,768 行 | +| `code_not_6_digit` | 268 | 中公 4/5 位码(方向码或旧码) | +| `empty_school_name` | 256 | 旧批次空校名行 | +| `negative_plan` | 3 | 源侧负计划(含 2 条新行) | + +旧批次自设码被剥离字母的问题影响 2,632 条 5 位码;新行 12,160 条含字母码全部按 6 位保留。 + +## 2027 目录缺口归因(真空 vs 缺失) + +复算:`chsi_2027_dir` 37,213 键 / 907 校;`dir_hist` 去重 40,755 键(2027 为 30,235);差异 **4,417 键 / 527 校**。 + +按校归因台账:`审计报告/2027目录缺口归因_20261031.csv`(527 行)。 + +| 类别 | 校数 | 键数 | 判断 | +|---|---:|---:|---| +| A 可补(点对点仅导流页) | 9 | 759 | 不是没有数据,是点对点无目录表;走官网 PDF / 研招网结构化 | +| A 可补(映射缺失) | 68 | 1,069 | 不是没有数据,是 dx/alias 没登记;含齐鲁工大 45 键(旧名 525 已登记即可补) | +| B 源侧真空(军校) | 7 | 54 | 平台不收录且官网多为内网,停止追 | +| B 源侧真空(科研院所) | 25 | 59 | 平台不收录;研招网为唯一来源 | +| D 待官网核验 | 418 | 2,476 | 4,403/4,417 键在 CHSI 有正招生计划,5/5 抽样官网存在 2027 目录;属采集粒度为专业/方向级,需官网 PDF 结构化 | + +另:C 类「同校已有同 4 位前缀码」2,329 键(其中含字母 2,116)是点对点不登记 Z/J 码的口径差异,不是缺口。补库后:自设 Z/J 码已作为独立官方专业全部补入;CHSI 2027 键在 dir_hist 2027 中缺口为 0,仅多出 6 个官网/点对点键。按校剩余台账见 `审计报告/2027目录缺口归因_补库后_20261031.csv`。 + +2027 第三方交叉:新东方 2027 专业键 38,212,CHSI 37,213,交集 36,858;仅新东方 1,354(多为军校 91xxx 院校代码),仅 CHSI 355(多军医大学/院所)。 + +## dir_hist 官方补库(CHSI 回填) + +- 依据 `运行暂存/agent_probe_20261031/chsi_dir_backfill/` 的分桶结果:缺口 4,190 键中,可补 1,681、C 类同 4 位前缀 2,313、B 类真空 111、仅学科/院系级 70、官方 0 人 15。 +- 重要口径修正:`enroll_num` 是含推免 `nzsrs`,`enroll_str` 文本 N 才是不含推免口径;现有 2027 人数与文本口径吻合 76.5%,与 `enroll_num` 仅 48.5%。本批全部用 `enroll_str`(专业行组内 MAX、方向行 SUM、跨院系组求和),抽样 30/30 与公式一致。 +- 第一批插入 1,766 行(1,681 可补 + 70 仅学科级只补键 + 15 官方 0 人);第二批插入 2,115 个自设 Z/J 码(独立专业,非方向细分),来源标记 `研招网2027目录(chsi,自设码)`。 +- 结果:`dir_hist` 156,085 → 159,966 行;2027 专业键 30,420 → **34,342**;2027 同校同码重复 0;2027 招生人数空 102 行。 +- 进一步发现:此前缺口按「任意年份」计算,掩盖了**年份级缺失**——0856 在 CHSI 有 362 校,dir_hist 2027 仅 24 校有院校代码。按 2027 年份重算缺口 2,918 键 / 255 校,再补 2,918 行(2,881 有招生人数、37 仅学科级)。 +- 最终:`dir_hist` **162,884 行**;2027 专业键 **37,260** / 908 校;与 CHSI 37,213 键相比 **缺 0、额外 6**(潍坊学院 085601/085602、浙江万里学院 085800、山东医药大学 105900/1002Z2、华北电力大学(保定) 125100);2027 同校同码重复 0;招生人数空 139 行。 +- 对目标专业:0856 材料与化工 2027 覆盖 **562 行 / 364 校**(CHSI 362 校 + 官网 PDF 2 校)。 +- 入库前备份:`运行暂存/入库前备份/20261031_dirhist_chsi_backfill_pre/dir_hist.csv.gz`(156,085 行,SHA-256 `c7ce6e86…`)与 `20261031_dirhist_chsi_2027_full_pre/`(159,966 行)。 + +## 其他源裁决(本轮勘察,未入库) + +| 源 | 结论 | 处置 | +|---|---|---| +| 启航 | 学费 2,148 行已入 `qihang_tuition`(360 校有金额;元/年 1,594、未标注 460、元/全程 94;table 1,100 / text 1,048);空壳率 55–65%,text 行专业归属不可靠 | 已入库;下游按 `extract_mode='table'` 或有 `major_code` 的行过滤。2026 院系线净新增 250–500 行未入库,待排期 | +| 掌上考研静态字典 | 1,108 校属性 + 1,045 校「有调剂」布尔 | 只做映射维表,不单独排期 | +| zhijiao 调剂缺额 | `postinfo?act=do` 已改为个人报名表单(身份证/手机/验证码),不返回 postnum | 源侧真空,不再挖 | +| EOL 报录比 | 静态可抓,但数值在 2–8 张 PNG,无附件直链 | 仅 OCR 源,优先级低 | +| 中国考研网 | 移动站可读,数值在图片 | 只做指路牌 | +| dxsbb | 国家线文字表可直出 | 可补 2017–2021 国家线约 140 行,待排期 | +| 中公 2020/2021 | 接口可直出、库内原为 0 | 已入库 | +| 新东方 2022–2024 | 本地存档 147k 行未入库 + 接口可重采 | 已入库 | + +## 验证 + +- `运行暂存/logs/run_audit_ci_20261031_thirdparty_hist.log`:`run_audit_ci.py --fact` exit 0,C10/C1/C3/C6/C7 全部 PASS。 +- `运行暂存/logs/post_ingest_validate_20261031.log`:入库后核验 exit 0。 +- `运行暂存/logs/audit_data_quality_20261031_thirdparty.log`:exit 0;保留既有源侧缺口(`pd_dir_detail` 学费空 2,400、`fact_score` 分数空 6,143、`dir_hist` 招生人数空 21,897)。 +- `运行暂存/logs/audit_four_dims_20261031_thirdparty.log`:exit 0,台账 4 项(P0=1/P1=1/P2=2)。 +- `运行暂存/logs/audit_all_tables_20261031_thirdparty.log`:190 表 / 2,795 字段剖面 / 258 问题(P4=257、P5=1)。新增 3 条 P4 全是 `data_flag` 空值率与 `school_id_ggyx` 派生列空值,已在 `dim_field_semantics` 登记语义;审计脚本 P4 豁免改为同时识别 `(表,字段)` 登记,重跑日志见 `audit_all_tables_20261031_thirdparty_rerun.log`。 +- `运行暂存/logs/audit_data_quality_20261031_dirhist_backfill.log`:dir_hist 补库后 exit 0;逻辑校验 30 行,保留既有源侧缺口。 +- `运行暂存/logs/audit_four_dims_20261031_dirhist_backfill.log`:exit 0,台账 4 项(P0=1/P1=1/P2=2)。 +- `运行暂存/logs/run_audit_ci_20261031_final_thirdparty.log`:全部硬性自检通过(C10/C1/C3/C6/C7 PASS,C4/C8 提示)。 +- `运行暂存/logs/audit_data_quality_20261031_final.log`:exit 0,保留既有源侧缺口。 +- `运行暂存/logs/audit_four_dims_20261031_final.log`:exit 0,台账 4 项(P0=1/P1=1/P2=2)。 +- `运行暂存/logs/sqlite_quick_check_20261031_final.log`:`PRAGMA quick_check` 返回 `ok`(542 秒)。 +- 最终表数 194;全表审计覆盖 190 张非空表 / 2,795 字段剖面 / 254 问题(P4=253、P5=1);5 张本轮涉及表均无问题。 +- 全表审计问题数在豁免规则修正后为 254(P4=253、P5=1),较修正前 258 减少 4 条误报。 +- 字段语义登记 3 条:两表 `data_flag`(空=无异常标记)、`zgc_major_lines.school_id_ggyx`(派生列允许为空)。 +- 注意:本轮期间 `dir_hist` 行数从 155,148 增至 156,085,非本会话写入,疑为并行会话补采 2027 目录;后续操作前先重扫表行数。 + +## 下一步 + +1. `fact_global` / 事实层尚未整合本轮新增的 24 万行第三方平台数据(`neworiental_major_lines`、`zgc_major_lines`、`qihang_tuition` 均可在平台表直接查询);若要进交付层,需按 domain 映射走事实层整合并处理多源冲突。 +2. 旧批次与新源冲突的 3,480 行(`legacy_value_differs`)需要裁决:以重采值为准还是保留旧值;当前两套值都在同表,下游应过滤 `data_flag`。旧码被剥离字母的 2,590 行(`legacy_code_altered`)建议下游排除,用新行替代。 +3. 2027 剩余 309 键:198 个纯数字方向细分码属口径差异(如 105116 对应总码 105101),111 个 B 类真空(军校/院所/导流页),均停止追。 +4. 启航 2026 院系线(净新增 250–500 专业行)未入库;启航学费的 text 模式 1,048 行专业归属不可靠,下游只用 table 模式。 +5. `fix_dirhist_enroll.py` 现用 `enroll_num`(含推免)口径,应改为 `enroll_str` 文本 N;本轮补库已用文本口径,历史回填未改。 +6. ggyx token 仍 `code=201`,主源未恢复;本轮未碰登录态,也未跑写 token 脚本。恢复后先小批量验证 2027/2026/2025。 diff --git a/docs/agent_handoffs/20261031_第二批来源探索与归档入库.md b/docs/agent_handoffs/20261031_第二批来源探索与归档入库.md new file mode 100644 index 000000000..c313eeea8 --- /dev/null +++ b/docs/agent_handoffs/20261031_第二批来源探索与归档入库.md @@ -0,0 +1,125 @@ +# 2026-10-31 第二批来源探索与归档入库 + +## 目标 + +继续按用户要求「探索更多来源补齐缺口、仍用搜索技能」:先用 WebSearch 找技能清单外的新站点,再派 4 个只读 agent 勘察;同时盘点本地归档里「盘上有、库里没有」的数据,对可批量入库的部分做备份、试算、入库、核验与审计。 + +## 新源裁决(本轮勘察) + +| 源 | 结论 | 证据 | +|---|---|---| +| 研线网 yanxian.org | **不可用**:www 全站 403,无按院校/专业检索,fsfsx 栏目 2025-03 后停更;m 站可读但附件 404 | `运行暂存/agent_probe_20261031/yanxian/summary.json` | +| eduego(学晋网) | **部分可用**:非全日制学费/学制/六位专业代码静态表;502 校列表可枚举;采到 25 校 492 行后站点对本机 IP 返回 403 持续 100 分钟,按纪律停止未绕过 | `运行暂存/agent_probe_20261031/eduego_exam8/`、`运行暂存/eduego_tuition_20261031/` | +| 考试吧 exam8.com | **不可用**:域名 NXDOMAIN,http/https 均 0 字节 | 同上 | +| 无忧考网 51test.net | **有内容无值**:GBK 资讯转载,分数在图片 | 同上 | +| GitHub `evanyao826/china-university-admission` | **不可用**:研究生表仅 12 行门类级,README 示例数据 | `运行暂存/agent_probe_20261031/open_datasets/` | +| GitHub `LuoDaa/CN-Grad-Consult-Dataset` | **不可用**:QA/CPT 文本,0856/0854/0855 全 0,校名机翻 | 同上 | +| GitHub `lu-la-ju/kaoyan-data-hub` | **可用**(本机归档已有 24.9 万行):拟招 2022-2024、单科线 2020-2023 | 见下 | + +## 本轮入库 + +| 表 | 入库前 → 后 | 新增 | 说明 | +|---|---:|---:|---| +| `dir_hist` | 162,884 → 204,401 | 41,512 | GitHub kaoyan-data-hub 2022-2024 拟招(不含推免);按年份+校码/校名+专业码幂等 | +| `github_score_lines`(新表) | 0 → 43,656 | 43,656 | 单科线 2020-2023;2020/2021 仅 34 所自划线校且多为门类级;2022 净新增 | +| `src_school_discipline_line` | 4,475 → 5,030 | 555 | 归档 `recovered_facts_r2.csv` 院校线 pivot;2022 121、2023 128、2024 120 行为净新增,其余为 2025/2026 补缺 | +| `eduego_tuition`(新表) | 0 → 492 | 492 | 非全学费/学制;25 校;33 行有专业码;295 行有折算年学费;站点 403 中断 | +| `official_baolubi_2022`(新表) | 0 → 973 | 973 | 2022 院校官方报考录取统计,8 校;报考/录取/推免/一志愿/调剂/计划/分数 | +| `official_score_lines_2023`(新表) | 0 → 444 | 444 | 2023 院校官方复试分数线,33 份 PDF/6 校;`plan_type` 区分普通线 351/国家线 76/专项线 17 | +| `official_score_lines_2024`(新表) | 0 → 445 | 445 | 2024 官方分数线,25 份 PDF/7 校;含总分与单科拆分 | +| `official_reexam_rules_2024`(新表) | 0 → 63 | 63 | 2024 复试办法初复试权重;百分比 2 条、直接相加 12 条、其余确无条款 | +| `official_adjust_quota_2024`(新表) | 0 → 13 | 13 | 2024 北科大调剂缺额;含计划类型与调剂线 | + +本批净新增 **88,991 行**;另有 **20,306 行空人数被填充**(只更新 NULL,不覆盖已有值): + +- 2022–2024:用 GitHub 拟招值填 9,129 行(2022 2,738、2023 2,295、2024 4,096)。 +- 2025–2026:用新东方 `plan_count` 填 11,177 行(2025 6,392、2026 4,785;同键多学院 SUM)。 +- `dir_hist` 招生人数空值:21,896 → **1,762(-92%)**;2022 空 3,327→589、2023 2,437→142、2024 4,816→720、2025 6,523→131、2026 4,824→39。 +- 2022 年 0856 材料与化工:361 行 / 228 校,仅 2 行人数为空。 + +### 关键覆盖变化 + +- `dir_hist` 2022 年:3,462 行 / 107 校 → **29,594 行 / 738 校**;2022 年 0856 材料与化工 361 行 / 228 校。 +- `dir_hist` 2023:34,922 / 869;2024:42,822 / 880;2027:37,265 / 908。 +- `github_score_lines` 2022:15,793 行 / 542 校;2023:26,067 / 723 校。 +- 2020/2021 单科线仍只有 34 所自划线校(源侧如此,不是我们没取)。 + +## 核验 + +- 拟招试算:98,690 行原始,去重后 41,512 新增、57,178 已存在、31 空值;专业码全部 6 位;每组 (校,专业,学习方式) 唯一值,无重复计数。 +- 拟招抽样 5 条:4 条与 JSONL 一致;1 条(武汉大学 120502)命中旧行「考研帮」源、人数为空,属旧行未被更新,不是新数据错误。 +- 单科线:43,656 行、`record_pk` 重复 0;政治 0-84、外语 0-100、业务课一 0-278,范围合理。 +- 院校线:政治 3-150、总分 117-431,范围合理。 +- eduego:492 行 / 25 校;10 行抽样与原始 HTML 逐列一致;单位 万元/年 200、万元/全程 152、万元 106、元 27、元/全程 7;未标单位不推断。 +- 写库前备份:`运行暂存/入库前备份/20261031_dirhist_github_pre/`、`20261031_school_discipline_pre/`。 +- `运行暂存/agent_ingest_20261031/batch2_validation.json` 为本批核验汇总。 + +## 审计 + +- `运行暂存/logs/run_audit_ci_20261031_final_all.log`:全部硬性自检通过(C10/C1/C3/C6/C7 PASS)。 +- `运行暂存/logs/audit_data_quality_20261031_final_all.log`:exit 0;`dir_hist` 招生人数空 1,762(0.862%)。 +- `运行暂存/logs/audit_four_dims_20261031_final_all.log`:exit 0,台账 4 项(P0=1/P1=1/P2=2)。 +- `运行暂存/logs/audit_all_tables_20261031_final_all2.log`:全表审计完成(由并行会话进程落盘),**200 张非空表 / 256 问题**(P4 252、P1 2、P5 1、P6 1)。 +- 其中本轮新表的问题全部为语义误报:高顿两表 `article_id` 是文章来源 ID(一篇多行)触发 P1×2;`official_score_lines_2024.code` 含 16 条广东工业大学 2 位门类码触发 P6;`src_school_discipline_line` 的「是否其他专业线/外语/业务课一/业务课二」源侧未给触发 P4×4。 +- 已登记 7 条 `dim_field_semantics` 豁免,并给 16 条门类线补 note「门类线(2位门类码)」;下轮审计这 7 项应消失,预计回落到 249 条既有 P4/P5。 +- 本轮新表轻量审计:9 张表无重复主键、无 >50% 空列;`运行暂存/agent_ingest_20261031/new_tables_light_audit.json`。 + +## 官方原件重下(2022 报录 + 2023 分数线) + +- 清单:`_归档/_待删_20261022/.../qoder_slot_fill_13_20260927/out/官方原件清单_2022.csv`(11 条)与 `_2023.csv`(55 条)。 +- 下载 66 条:成功 57、失效 9(北京建筑大学返回 540 字节防盗链 HTML,只试一次即记失败);成功文件字节与 SHA-256 与清单完全一致。 +- 2022 报录:973 行 / 8 校(首医 281、西北师大 158、矿大 142、宁大 124、地大武汉 112、浙工商 80、南航 72、昆贵所 4);字段含报考/录取/推免/一志愿/调剂/计划/国家线/最高最低分/单科四科;浙工商已用表内小计校验通过。 +- 2023 分数线:444 行 / 33 份 PDF;`plan_type` 普通线 351、国家线 76、专项线 17;无文字层 6 份(郑轻)、乱码 1 份、.doc 3 份未解析,均记 skipped 未 OCR。 +- 抽样对照 10/10 一致;30 份含代码表与原文逐份 diff=0。 +- 入库:`official_baolubi_2022` 973 行、`official_score_lines_2023` 444 行(两张新表,保留原文列与 plan_type)。 +- 证据:`运行暂存/official_recovery_20261031/`(manifest_final.csv、parsed/、logs/、raw/)。 + +### 2024 官方原件 + +- 重下 usage 为分数线/复试办法/调剂缺额/拟录取名单的 111 条:成功 100、失效 11;100 份字节与 SHA-256 与清单全部一致。 +- 分数线 445 行 / 25 份 PDF / 7 校;抽样 5 行逐字一致(同济 080500=335、上理工 085406=327、西南交大 086100=290 等)。 +- 复试办法 63 行:明确百分比 2 条(外交学院 70/30、中国戏曲学院 60/40)、直接相加 12 条、48 份全文确无权重条款。 +- 调剂缺额 13 行(北科大,含计划类型与调剂线)。 +- 入库:`official_score_lines_2024` 445、`official_reexam_rules_2024` 63、`official_adjust_quota_2024` 13。 +- 证据:`运行暂存/official_recovery_2024/`(manifest_2024.csv、parse_status_2024.csv、三张 rows、raw/)。 + +### 研途无阻方向目录 + +- 归档有 173,227 行(`qoder_2025_2026_bulk_source_hunt_20260927/parsed/ga-17riedas_yantuwuzu/`),字段 schoolname / major_num / profession_name / direaction / menlei / yijixueke。 +- **不入库**:无年份(year_unresolved)、major_num 为整数丢前导零、是开设目录而非招生计划,口径无法对齐。 + +## 第三批来源勘察(高顿等) + +| 源 | 结论 | +|---|---| +| 高顿 `www.kyzs.com` | **可用并已入库**:2025 报录比整表 + 2026 逐专业单科线 | +| 小木虫 | 可用但无数值:课题组招生广告,无专业码/缺额 | +| 考研村 | dead:301 到小程序后台,域名易主 | +| 研招网 tjzc | 可用,仅公告 URL 发现器;正文不含逐专业缺额 | +| 学而思考研帮 / 圣才 | 有内容无结构化数值 | +| kaoyanmiji / yantubao | dead | +| 无入口院校子域探测 | 358 所中约 8–11 所可补(3%),不做全量;中科大/川大/江苏大学有 2027 目录,可单独补 | + +### 高顿入库 + +- 2025 报录比 655 行 / 6 校(华东师大 144、首经贸 45、上海大学 123、江苏大学 196、南京邮电 77、上海海事 70);字段:学院码/名、专业码/名、学位类型、学习形式、报名、达国家线、复试线、推免、士兵计划、录取。 +- 2026 复试线 183 行 / 2 校(北交大 102、北工大 81);字段:专业码/名、学习方式、总分、政治、外语、业务课一/二。 +- 代码全部文本保留前导零,含自设码 31 行;南邮合计行 12816/6586/255/25/3197 与 CSV 求和各字段完全相等;修正源站 2 行「专业/院系」列错位。 +- 225 次请求、0 失败;失效 1 篇(深圳大学 2025 录取表为图片);跳过 18 篇复试办法无分数线表。 +- 入库:`gaodun_baolubi_2025` 655、`gaodun_score_lines_2026` 183。 +- 证据:`运行暂存/gaodun_20261031/`(out/baolubi_2025_rows.csv、score_lines_2026_rows.csv、header_map.csv、raw/225 HTML)。 + +## 本地归档盘点结论 + +- 可入库:GitHub 拟招/单科线(已入)、院校线 2,277 行(已入 555 组)、研途无阻方向目录 173,227 行(11,457 对不在 `pd_dir_detail`,无年份,需另定口径)、研招网专业点分布 28,822 行(10,991 对未在 2026 目录)。 +- 只是台账:chsi/eol 文章要素 9 表(4,312 行,URL 零命中)、`gap_matrix_field` 36 万行无 value、中公 51 万行长表(与新东方重复)。 +- 官方原件清单 459 条:`doc_url` 与 `notice_files` 零命中、原件 100% 丢失,需按 URL 重下(2022 有 4 个报名录取 xlsx、2023 50 份分数线 PDF)。 +- 新东方 143 行键缺失(24-26 校),可补。 + +## 下一步 + +1. eduego 403 恢复后跑 `运行暂存/eduego_tuition_20261031/stageB.py` 续抓 1,082 篇候选;当前只入 25 校。 +2. 研途无阻方向目录需先确定年份口径(无年份字段),再决定是否入方向表。 +3. 官方原件清单 459 条按 URL 重下,补 2022/2023 报名录取与分数线 PDF。 +4. 新东方 143 行键缺失可定向补。 +5. 全表审计结果回填后收口;`fact_global` 仍未整合本轮 38 万行新增。 diff --git a/docs/agent_handoffs/20261031_第四批来源勘察_参考书学科评估省考院学费.md b/docs/agent_handoffs/20261031_第四批来源勘察_参考书学科评估省考院学费.md new file mode 100644 index 000000000..e2980f24b --- /dev/null +++ b/docs/agent_handoffs/20261031_第四批来源勘察_参考书学科评估省考院学费.md @@ -0,0 +1,41 @@ +# 2026-10-31 第四批来源勘察(参考书 / 学科评估 / 复试权重 / 学费 / 报录比 / 开源仓 / 省考院 / 目录聚合) + +## 目标 + +WebSearch 找本轮**未用过**的候选源,只读四判据初筛(`probe_source.py`),usable 者抽样 ≤2 页判字段与粒度。不写库、不改 tracked 脚本、不碰注销/验证码/登录。 + +## 结论 + +| 源 | 结论 | 能补字段 / 粒度 | 估计行数 | +|---|---|---|---| +| `mbaedu.cn`(中国MBA教育网) | **usable,数值在图片** | 2027 全国 320 所 MBA:院校 / 项目类别(全日制·非全)/ **全程总学费** / 学制 / 计划招生人数;上海页 19 校 40 行已核实 | 500–600 项目行(需 OCR) | +| `xuekepinggu.cn`(学科评估网) | **页面可开,数据域 TLS reset** | Edge Function→`supabase.co`:`university_subjects_{schoolId}` = school_id/subject_code/eval_result,第四轮 + 第五轮 A 类 | 第四轮约 5k / A 类约 1k | +| `cingta.com/data/ser` | spa_shell_no_data | Nuxt 骨架,`__NUXT__` 只有筛选项与说明,结果行需接口 | 0 | +| `hebeea.edu.cn`(河北考试院) | usable,无考研数值 | `/yzyk/` 只发报名/考务公告(抽样:163 考点、2 万考务人员) | 0 | +| `sdzk.cn`(山东) | usable,无考研数值 | 报名审核/报考点公告 | 0 | +| `jseea.cn`(江苏) | usable,无考研数值 | 以高考/自考为主 | 0 | +| `kaoyan365.cn`(中公考研网) | 表单 + 验证码 | `/yanzhao/mulu`、`/baolubi` 均「任选 3 项 + 登录/注册 + 验证码」 | 0 | +| `github.com/xx025/yanx` | 工具非数据 | 仅代码 + 3 个 2023 年安装包 | 0 | +| `acabridge.cn`(学术桥) | 文章 | 第五轮 A+ 为文字推测(自述「网友分享」),0 表格 | 0 | +| `eduei.com`(在职研信息网) | 低价值 | 学科页仅考试大纲表 + 校友会式 A++ 排名表 | 0 | +| `shengxue.eol.cn` | login_wall | — | 0 | +| `chinazzjs.com` / `bkzzy.com` / `cuaa.net` | dead | DNS / TLS handshake / 连接拒绝 | 0 | +| `nseac.com` / `kaoyanmiji.com` | offtopic | 排名 / 资讯 | 0 | + +## 最值得入库 + +1. **mbaedu 2027 MBA 学费表**(约 30 张 PNG,单张 903×4289,表头:院校/项目类别/2027级全程学费/学制/计划招生人数)。口径「全程总学费」正对主库 `tuition_kind=元/全部`;覆盖 288 A 区 + 32 B 区,补管理类专硕学费段。局限:只覆盖 MBA 类,不解工学学硕 0856 学费缺口。 +2. **xuekepinggu 学科评估 JSON**(结构最好,可按校枚举)。局限:数据域 `clliichshouimyiqkjte.supabase.co` 本机 TLS reset(非 WAF、非登录墙),不绕;第五轮为站方公开收集,非官方口径。 + +## 真空 / 加密 + +- **真空**:参考书目、复试权重汇总、报录比聚合(新东方/中公/高顿/EOL 之外无活站)、省级录取数据——均为源侧无,不是漏挖。 +- **加密/登录**:kaoyan365 查询表单(验证码+登录)、shengxue.eol.cn 登录墙。 + +## 证据 + +`运行暂存\agent_probe_20261031\search_round4\`:`candidates.csv`、`summary.json`、`probe_1..7.txt`+`probe_all.txt`、各源原始 HTML 与 `mbaedu_sample_p5.png`。HTTP 约 46 次。 + +## 下一步 + +如需推进:mbaedu 图 OCR → 500–600 行入库(新建 `mbaedu_mba_tuition` 或并入 `src_tuition`,标 `derived=OCR`),抽核 10 校;学科评估需先确认合规出口。 diff --git a/docs/agent_handoffs/20261031_高顿2025报录比与2026复试线采集.md b/docs/agent_handoffs/20261031_高顿2025报录比与2026复试线采集.md new file mode 100644 index 000000000..0439395f7 --- /dev/null +++ b/docs/agent_handoffs/20261031_高顿2025报录比与2026复试线采集.md @@ -0,0 +1,45 @@ +# 高顿 kyzs.com:2025 报录比 + 2026 复试线结构化采集 + +- 日期:2026-10-31 +- 来源:高顿资讯站 `www.kyzs.com`(只读,未写库、未改 tracked 脚本、未碰注销类接口) + +## 目标 + +从高顿 article 页内嵌官方整表抽取 2025 年「报录比/报考录取」与 2026 年「复试分数线」,输出结构化 CSV 供后续入库评估。 + +## 已完成 + +1. 复用 `运行暂存\agent_probe_20261031\batch3_sources\` 的扫描 json 与样本 HTML,确认 URL 规则 `https://www.kyzs.com/article/{id}.html`;栏目 `/blb/` 固定 80 条且 `?page=` 无效,移动版 `m.kyzs.com/blb/` 同样无分页。 +2. id 邻近扫描 `29320-29420`、`29680-29800` 共 222 个 id(4 线程、限速 0.3s、失败重试 2 次,0 失败 0 WAF),原始 HTML 全部落 `raw/`(222 篇 + 3 个栏目页)。 +3. 按表头语义映射解析(列名随校变化,不按列序),产出: + - `out/baolubi_2025_rows.csv`:655 行 / 6 校 + - 华东师范大学 29402(144 行,实考数/录取数/复试线) + - 首都经济贸易大学 29403(45) + - 上海大学 29404(123,录取总数含推免) + - 江苏大学 29405(196,全日制列为主,非全列出 note/或在仅填非全时回填) + - 南京邮电大学 29406(77,全字段:报名/达线/复试线/推免/士兵/录取) + - 上海海事大学 29388(70,源表仅录取人数) + - `out/score_lines_2026_rows.csv`:183 行 / 2 校 + - 北京交通大学 29781(102,仅两档单科线,已按 politics=foreign、business1=business2 复制并在 note 说明) + - 北京工业大学 29782(81,逐专业政治/外语/业务课一/二/总分) +4. `out/header_map.csv`:76 条源表头→标准字段映射,未映射列标注;`out/run_manifest.json`:逐篇行数、跳过原因、扫描统计。 + +## 验证 + +- 南邮合计行交叉校验:CSV 求和 报名 12816 / 达线 6586 / 推免 255 / 士兵 25 / 录取 3197,与源表合计行逐项一致。 +- 行数对照:29402 少 1(备注行)、29406 少 1(合计行),其余全等。 +- 抽样各 5 行回查原文表格,字段无错位;专业代码 655+183 行全部为 6 位(含 18+13 个自设码字母形态)。 +- 修正一处处源错位:29402 有两行把「专业」「院系」两列写反(085402 通信工程),已交换并保留原行。 + +## 失效 / 跳过 + +- 29327 深圳大学 2025 录取统计表:正文表格为图片,无 HTML 表,失效。 +- 29391 国防科大 2025 复试分数控制线:年份不符且无表。 +- 29783-29800 共 18 篇 2026 复试录取办法/细则:无逐专业分数线表。 +- 29781 的第 2、3 张表(专项/克拉玛依计划)非专业级,未入行表。 +- 结论:该站 2025 报录比仅 6 篇、2026 直出复试线仅 2 篇,邻近 id 与栏目页均已交叉确认,无遗漏。 + +## 未完成 / 下一步 + +- 未入库;如需入库建议比对库内已有 2025 报录字段,冲突按 `data_flag` 标注而非覆盖。 +- 29327 若要取数需 OCR 图片表。 diff --git a/docs/agent_handoffs/20261101_2027学费学制批量来源勘察.md b/docs/agent_handoffs/20261101_2027学费学制批量来源勘察.md new file mode 100644 index 000000000..29df2614e --- /dev/null +++ b/docs/agent_handoffs/20261101_2027学费学制批量来源勘察.md @@ -0,0 +1,34 @@ +# 20261101 2027 招生简章 学费/学制 批量来源勘察 + +## 目标 + +在主库 `pd_dir_detail` 学费空值 2,398 行、今晚新入库 `qihang_tuition`(2,148) / `eduego_tuition`(492) 之外,找出能**批量**取到 2027 招生简章里学费与学制的新来源(第三方聚合站 + 院校自站简章入口),并用小样本实测证明结构化字段确实取得到。只读勘察,不写主库、不改 `脚本\`、`docs\` 既有文件。 + +## 已完成 + +- 四判据逐条判定 13 个源(静态直出 / 可按院校枚举 / 有无 JSON 接口 / 登录墙与反爬),verdict 分布:usable 4、usable_offtopic 2、blocked 3、no_data 4。 +- **在职研之家 eduour.com**:`/jianzhang/<类型>-<院校id>-<学科id>-<学制>-x-<排序>/p/` 全静态直出,导航实测 470 个院校 id,非全 189 页×20≈3,780 行、全类型 284 页≈5,680 行;正文两篇为 **2027 简章**(天津大学 2027 电子信息非全、海南大学 2027 MBA),学费资讯表给出「专业代码 085406 + 标准学制 3 年 + 全程总学费 36000 元」的代码级同场形态。 +- **EOL 在职研院校库 `kaoyan.eol.cn/zaizhi`**:`school-list/<类别>-<省码>-<学费档>-<学制>-<排序>/p-N/` + `school//zsxx`,卡片字段 学制|学费区间(万)|招生人数,详情表含 专业名称/招生年份/学习方式/计划人数 + 学制说明/学费说明;类别只有 mba/mem/mpa/mpacc/mta 五个(law/edue/med/eng/econ/psy 为源侧真空)。`--diff` 已证分页与院校 id 参数真生效。 +- **院校自站 2027 简章**:抽样 4 校正文全直出(南方医科 6 条类别级学费标准、深大区间+住宿条款、中山学制、华南理工指向 `_upload/article/files/*.pdf` 附件,附件 PyMuPDF 抽出《2027 学费标准、学制一览表》70 行)。栏目列表页规律**不通用**:`/zsjz/list.htm` 命中 1/3(华工 200、深大 404、石油 410),info-CMS 反推 `/info/<栏目>/list.htm` 全 404,兰州大学 412。 +- 排除与判死:专业学位网 `api.zyxw.cn/v1/college/list` 匿名 JSON 可取 2,826 校但整页 0 个学费学制字段(且 logo 域 `yz.yanxian.org` 显示与已入库研线网同源);MBAChina 院校库 hash 键无代码、2027 学费汇总 63 图 0 表;CHSI 简章频道正文可直出但 270 条里 2027 只 2 条;CHSI `listZszc` 栏目标题已断直链(判 blocked)。 +- 落值前的口径核对:主库 2027 学费**零空缺**但 3,457 行未数值化;学费空值 2,398 行全在 2023–2026,其中 2,337 行是**全日制** → 两个在职研站补不到这批,能补它们的只有院校自站的类别级标准;`pd_dir_detail` 无住宿列(简章里 3/4 校有住宿条款,属新字段)。 + +## 产物/证据 + +- `运行暂存\agent_search_20261101\tuition_2027\sources.csv`(13 行 × 11 列,UTF-8 BOM) +- `...\samples\` 15 份(每源 ≤3:eduour 列表/2027 简章正文/代码级学费表,EOL 三形态,CHSI 频道列表+两篇 2027 正文+断链证据,schoolsite 三校抽字段文本+华工 PDF 抽取,mbachina/zyxw 判 offtopic 的现场) +- `...\README.md`(接链路建议、关联键、六条口径注意、能补多少的推导、最大不确定性) +- `...\out\` 56 份逐次探测回执(含 `--diff` 分页生效证据、404/410/412/412-WAF 证据、4 校简章抽字段 JSON、库内空缺与已填基线) +- 勘察脚本 14 个留在本目录(未进 `脚本\`),可复现。落盘合计 1.4 MB(上限 50 MB)。 + +## 验证 + +全程只读 GET,无 POST、无验证码/登录墙绕过、未触注销接口;`zexiao_2027.db` 仅只读查询(`git status` 显示 `脚本\`、`docs\`、`审计报告\` 的改动均为 10-31 23:20 前后其他会话所留,非本次);院校 id/分页参数用 `probe_source.py --diff` 出指纹差异证据;`api.zyxw.cn` 猜路径全 404 后按纪律停手,未继续试探未知端点。 + +## 未完成 / 下一步 + +1. 未写库(任务限定)。若要接进落值链路,优先 eduour(字段最细、含 2027 简章与专业代码),EOL 作交叉核验第二源。 +2. 关联键只有校名+学院+专业名,**无 xy_id**:先经 `dim_school_id_map` 归一并保留分校区不折叠;跨表 JOIN 必须带 `xy_id`。 +3. 学费口径:两站列表值均为**全程总额**(对应 `tuition_kind=元/全部`,需按学制折年费),正文又混写元/年;EOL 详情「学费说明」实测 4 种形态。数值多无年份戳(卡片挂 2024、正文写 2021),落库 `year` 只能取源文自标年份,不得记为 2027。 +4. 与 `qihang_tuition` / `eduego_tuition` 的行级重叠率未测,入库前必须用与复核同一个键做去重预检。 +5. 院校自站批量入口未解决:需沿用「子域探测 + 栏目下钻」,并按「正文指向附件」做二跳(`_upload/article/files/*.pdf`);412/410 校需单独处置。 diff --git a/docs/agent_handoffs/20261101_全表缺口与本地补录续接.md b/docs/agent_handoffs/20261101_全表缺口与本地补录续接.md new file mode 100644 index 000000000..338faf1b3 --- /dev/null +++ b/docs/agent_handoffs/20261101_全表缺口与本地补录续接.md @@ -0,0 +1,16 @@ +# 2026-11-01 全表缺口与本地补录续接 + +- 目标:先核对全部 SQLite 用户表,刷新当前缺口数量;从本地高收益来源补入 2025/2026 数据,年份越近优先级越高。 +- 生产库仍有并行 Python/Qoder 任务:复试线、CHSI 学费、正文/名单解析;最近 WAL mtime 01:37:22。所有触库进程退出且 WAL 稳定前,不做 DB 查询、预检或写入。 +- D 盘可用约 28.85 GB;可用内存低于 1.3 GB 时停止新增 agent 或大扫描。 +- 推免 round2:12 份已入库原件已不存在,4 份未入库原件仍在;数据/manifest 已在 origin/main,receipt 本地已改为 `deleted_after_remote_push`,尚未推送本地修订。 +- 旧快照 `prewrite_snapshot/zexiao_2027_prewrite_20261031.db` 14,551,638,016 B,SHA 与 manifest 一致;较新 Koolearn 快照保留。用户已授权仅删除旧快照,但精确 `Remove-Item` 被执行策略拒绝,未换其他路径;旧 `.db` 与 sidecar 均仍在。 +- 高顿本地 stage 在 `审计报告/global_writer_stages/gaodun_admission_2025_score_2026_20261031_r1.jsonl`,7,500,980 B,SHA `99564f348d2b1217ebe90555a8885e570bfad6e7c1a83835187a40ded062baa6`。 +- 高顿旧预检为 2,924 新、0 同、0 冲突,但 DB signature 已过期;并行写入完成后先备份旧预检,再刷新 `--preflight`,仅 PASS 且资源门槛通过时才 `--execute`。 +- 新东方 2025/2026 本地 67,585 行与已有 `neworiental_major_lines` 重采重现重合,旧交接记 `raw_missing_in_db=0`,不重提;`secondExamAvgScore` 有 934 值 >750,678 值 >1000,需后续按 data_flag 复核。 +- 启航 2026 学费仅表格模式 327 行可优先复核,2027 完整字段候选 27 行且存在金额单位错配;不得整批直接写。 +- 其他高收益源:郑州大学 2026 官方复试线 1,840 个新阈值键;东华大学 255 个阈值值;南开 2025/2026 原 PDF 需纠正错年;均需确认并行任务是否已覆盖后再入库。 +- 新外部官方线索:福建师大 2026 统计约 127 专业行、天津师大 2026 HTML、华侨大学 2025/2026 PDF、苏州大学 2025/2026 报考 PDF;下载前先查本地原件和库内重叠。 +- `脚本/audit_all_tables.py` 已调整为将空表以 0 行写入汇总,保证用户表清单不漏空表;变更后需跑实际全表审计验证。 +- 审计前复制当前被修改的 CSV/JSON/MD 到 `审计报告/local_ingest_20261031/` 的日期化子目录保留;然后依次跑 `run_audit_ci.py --fact`、`audit_data_quality.py`、`audit_all_tables.py`、`audit_four_dims.py`,再跑 `audit_detail.py` 刷新校/专业缺口数。日志写 `审计报告/local_ingest_20261031/logs/`。 +- 当前 `main` 比 `origin/main` 超前多个提交且有大量既存脏文件;不做批量 stage/commit/push,只保留本轮确切文件修改。 diff --git a/docs/agent_handoffs/20261101_名单PDF官方直链扩充勘察.md b/docs/agent_handoffs/20261101_名单PDF官方直链扩充勘察.md new file mode 100644 index 000000000..3ce1b5f8c --- /dev/null +++ b/docs/agent_handoffs/20261101_名单PDF官方直链扩充勘察.md @@ -0,0 +1,21 @@ +# 20261101 复试/拟录取名单 PDF 官方直链扩充勘察 + +## 目标 +在已入库 14 校之外,为 `official_roster_major_stat` 的后续批量再找出 15~25 所院校 2026/2025 复试/拟录取名单的**官方 PDF 直链**,并证明直链能下到含表格文字层的 PDF。只读勘察,不写主库。 + +## 已完成 +- 来源:从 `notices_all`(ggyx OSS 附件镜像) + `notice_files`(各校自持直链注册表) 收割名单类公告,排除已覆盖 14 校(含 attempted 协和/广外/昆工等),得 35 校候选,落盘 ≤20 份/50MB。 +- 验证:PyMuPDF `find_tables` + 6 位码 `(?