diff --git a/docs/agent_handoffs/20261031_2024官方原件其他279下载与分类.md b/docs/agent_handoffs/20261031_2024官方原件其他279下载与分类.md new file mode 100644 index 000000000..60eaf2158 --- /dev/null +++ b/docs/agent_handoffs/20261031_2024官方原件其他279下载与分类.md @@ -0,0 +1,28 @@ +# 2024 官方原件 usage='其他' 279 条:下载与分类(2026-10-31) + +## 目标 +补齐 2024 官方原件清单中 usage='其他' 的 279 条:只读下载、按标题+正文分类、名单行计数、学费金额抽取。不写库。 + +## 已完成 +- 下载 270/279(102.3 MB),9 条失效(buu 2 空文件、cau 1 空文件、njust 1 + sccm 5 HTML 失效页) +- 270 条 bytes/SHA 与清单 100% 一致;18 条 SSLError 经 verify=False 复取(证书链不完整,非内容问题) +- 请求 347 次,未超 350 预算 +- 分类:其他 158 / 考试大纲 105 / 参考书目 4 / 复试名单 3;拟录取名单、招生简章、学费 0 +- 名单 3 文件 232 人(川大历史 191 / 上海政法 13 / 华北科技 28),川大 8 个专业代码分组 +- 学费 4 行(河北医科中外合作 21300 欧元 + 2.5 万元;陕西中医药 8000/10000 元/年) +- 抽样 17 条与 raw 重抽文本对照,文本一致(2 条 zip 无文本记 n/a) + +## 产物 +`D:\择校\运行暂存\official_recovery_2024_other\` +- manifest_2024_other.csv / classify_2024_other.csv / roster_rows.csv / tuition_rows.csv / sample_check.csv +- raw\其他\(270 件)、texts\(缓存)、README.md、dl_other_2024.py、dl_retry_ssl.py、extract_other_2024.py、classify_other_2024.py、verify_other_2024.py + +## 验证 +- manifest:270 ok 的 bytes_match=1、sha_match=1 +- classify:279 行(含 9 条 fail),名单人数与原文唯一考生号一致(191/13/28) +- 抽样 head_match:15 条 1、2 条 n/a(zip 包) + +## 未完成 / 下一步 +- 36 条无文本(rar 10、zip 大纲包 13、扫描 PDF 6、antiword 空 5、伪 docx 2):如需名单/大纲细节需 unrar/OCR,本任务按纪律未解包未 OCR +- 无「拟录取名单/招生简章/学费」标题类文档,该类在 2024 其他集合中确实为空 +- 建议:如需把 3 份复试名单的 232 人入交付层,先按 xy_id + 专业代码映射核验再入库(本任务未写库) diff --git a/docs/agent_handoffs/20261031_2027推免接收人数采集.md b/docs/agent_handoffs/20261031_2027推免接收人数采集.md new file mode 100644 index 000000000..26bdc355a --- /dev/null +++ b/docs/agent_handoffs/20261031_2027推免接收人数采集.md @@ -0,0 +1,60 @@ +# 2027 推免接收人数采集(30 校目标,实得 15 校) + +- 日期:2026-10-31 +- 工作目录:`D:\择校\运行暂存\y2027_tuimian_20261031\` +- 纪律:主库只读,未写库;未改 tracked 脚本;未碰注销类接口 + +## 目标与结果 + +目标:≥30 所院校 2027 推免接收人数,逐专业行 + 校级总分行。 + +实得:**11 校逐专业 1,587 行(合计 21,797 人) + 4 校校级总 4 行**,覆盖 15 校。未达 30 校目标,缺口与原因见下。 + +| 学校 | 载体 | 行数 | 合计 | 口径 | +|---|---|---|---|---| +| 山东大学 | PDF 名单(88页) | 370 | 4,185 | 逐人计数 | +| 中山大学 | PDF 名单(82页) | 356 | 3,899 | 逐人计数 | +| 北京大学 | PDF 名单(硕士67+博士63页) | 242 | 3,741 | 逐人计数,原表无专业代码 | +| 北京航空航天大学 | PDF 名单(硕士75+博士26页) | 232 | 3,469 | 逐人计数,college 为院系所代码 | +| 重庆大学 | PDF 汇总表(2页) | 99 | 2,816 | 原表逐专业人数 | +| 东华大学 | HTML 汇总表 | 74 | 1,526 | 硕士+直博,截至 10-12 | +| 西南财经大学 | HTML 汇总表 | 53 | 1,106 | 硕士+直博 | +| 北京语言大学 | PDF 名单(硕士8页+直博) | 49 | 380 | 逐人计数 | +| 华东政法大学 | HTML 汇总表 | 47 | 484 | 原表逐专业计数 | +| 四川师范大学 | PDF 名单(3页) | 38 | 129 | 逐人计数,含支教 | +| 南昌航空大学 | PDF 名单(3页) | 27 | 62 | 逐人计数 | + +校级总:深圳大学 2,285(含直博 59)、中科院信息工程所 240(正文称 105,口径待核)、中科院工业人工智能所 55、中科院网络信息中心 49。 + +## 口径与标注 + +- `major_code` 全程文本,前导零保留,自设码(1204Z1)不剥离;北大原表无专业代码,留空并在 note 标明。 +- 名单计数以“姓名行”为单位,表头/合计行已过滤;北航附件中混入的 2026 年名单(66 页)按 PDF 标题年份剔除。 +- 名单类 note 记录直博/强基/支教拆分;汇总表类记录“硕士x+直博y”。 +- 未把“拟接收/计划数”(如西工大 2400、华科 3300、中南 2900)混入实际接收表,避免口径污染。 + +## 缺口与原因(为什么没到 30 校) + +- 四川大学:汇总入口 `tms/tmsjkgs` 显示“暂未开放”;47 个学院名单页 `tms/tmsgs?yxs=` 正文为空。 +- 华南理工、深圳大学:名单 PDF 为扫描件(0 字符文本层,58-60 页),未 OCR。 +- 西安交大:附件下载返回 HTML(WAF/验证页);南京航空航天:页面返回“提示信息”登录墙;南航/江苏部分站点 488。 +- 中科大:名单在 `xspt.ustc.edu.cn/xxgs/tmsLq`,按 37 个学院分页,逐院“查看”,未逐院展开。 +- 北京科技大学:校级页只给 29 个学院链接,逐院名单需 29 次请求,未展开。 +- 清华、复旦、武大、厦大、湖大、华科、电子科大:截至 10-31 仅见预报名/工作办法,未见校级逐专业实收公示。 +- 中科院多数所名单无“专业”列(如信工所仅姓名/本科学校/层次),只能进校级总。 + +## 文件 + +- `2027_推免接收人数_逐专业.csv`(1,587 行,UTF-8-SIG) +- `school_total.csv`(4 行) +- `manifest.csv`(44 个原件:PDF 15、HTML 28、异常 1;含字节与 SHA256) +- `抽样核对10行.csv`(10/10 MATCH,重庆大学为原表行值直比,其余为 PDF 全文/HTML 原文行独立复核) +- `raw\` 原件;`aggregate.py`、`build_outputs.py`、`fetch_lib.py` 可复现 +- 请求统计:约 120 次(≤300),5 线程,间隔 0.3s + +## 下一步 + +1. 川大 47 院、中科大 37 院、北科 29 院按学院页枚举(预计 +3 校、千行级)。 +2. 华工/深大扫描件 OCR(58+60 页)。 +3. 用 `chsi_2027_dir` 或招生目录为北大 242 行补专业代码。 +4. 核信工所“105 名 vs 名单 240 人”口径。 diff --git a/docs/agent_handoffs/20261031_chsi_zsgs拟录取名单勘察.md b/docs/agent_handoffs/20261031_chsi_zsgs拟录取名单勘察.md new file mode 100644 index 000000000..e152341ec --- /dev/null +++ b/docs/agent_handoffs/20261031_chsi_zsgs拟录取名单勘察.md @@ -0,0 +1,26 @@ +# chsi 招生信息公开平台·拟录取名单勘察(只读) + +- 日期:2026-10-31 +- 目标:判断研招网 `https://yz.chsi.com.cn/zsgs/` 能否批量发现并解析"拟录取名单公示",为 2025 届名单缺源找新入口 +- 结论:**不能批量**。名单栏目 `/zsgs/mdgs/**` 全路径 302 到学信网 CAS 登录(带验证码),按要求停手,未做任何绕过 + +## 已完成 + +1. 入口与枚举:公开栏目 `招生章程 /zsgs/zsjz/`、`复试录取办法 /zsgs/fslq/` 可按 `?start=N`(步长 20)分页、`detailall.action?schCode=xxxxx` 按院校、`detail.action?zsgsId=…&schCode=…` 看正文。 +2. 全量枚举 fslq 院校清单:48 页,939 条,908 个 schCode(31 条未挂链接),落 `fslq_schools.csv`。 +3. 年份:`?year=2025/2024` 与默认返回表格完全一致,年份参数无效;栏目只展示当届(fslq=2026 年办法、zsjz=2027 年章程)。 +4. 抽样 5 校(985 北大、211 北交、211+0856 北邮、双非北方工大/北工商)公开正文:正文取自 `hid_content`,形态为外链(admission.pku.edu.cn)、院系联系表、分数线表、纯文本,均不含考生明细。 +5. 与库内比对:`ggyx_admission_list` / `fact_admission` 均为 2026 届 770,793 行 / 661 校;与平台 939 校按校名匹配 641,平台独有 298 校(清华、东北大学、中国传媒等库内为 0 行)。 + +## 证据 + +- 目录:`D:\择校\运行暂存\agent_probe_20261031\chsi_zsgs\` +- `summary.json`(汇总)、`probe.csv`(5 校)、`mdgs_probes.csv`(8 条 302)、`fslq_schools.csv` +- 原始件:`raw/`(首页、302 响应头、fslq/zsjz 列表与正文、48 页院校清单) +- 请求 81 次,限速 0.5s,未写库 + +## 未完成 / 下一步 + +- 名单正文载体(HTML 表格/PDF/图片)与字段、单份行数:**登录墙后不可验证**,不得写成已知 +- 若用户提供已登录会话(`ggyx_chrome` 登录态是否对 yz.chsi.com.cn 生效)才可能续做;否则放弃该入口 +- 2025 届仍无源:平台无年份回溯 diff --git a/docs/agent_handoffs/20261031_eduego非全学费采集.md b/docs/agent_handoffs/20261031_eduego非全学费采集.md new file mode 100644 index 000000000..bd05b900d --- /dev/null +++ b/docs/agent_handoffs/20261031_eduego非全学费采集.md @@ -0,0 +1,37 @@ +# eduego(学晋网)非全日制学费/学制采集 — 2026-10-31 + +## 目标 + +把 eduego 各校"非全日制学制学费"文章采成结构化 CSV(只读网站,不写主库)。 + +## 已完成 + +1. 阶段 A(院校列表):按 `/school1..1021/zhaosheng/` 枚举,有效 502 校(n 取自 `/school/` 已知清单,失配即跳过),共 11,201 篇文章标题/URL/日期,全部 200。 +2. 候选筛选:标题关键词分三级(学制学费一览/标准 > 学制学费 > 学费/学制),按 (校, 标题年份) 去重取最优 1 篇 → 1,106 篇。 +3. 阶段 B(正文表格):解析 25 篇 → 492 行,全部非全日制,含原文金额/单位与派生年费。 +4. 解析器覆盖 5 种表头格式:招生项目/招生单位/学制/学费标准;专业类型/专业名称/专业代码/学制/学费;院系/专业/研究方向/拟招/学费·学制(同格);学院/专业/学制/学费(万);招生项目/专业代码/学费标准(万元/生)。 + +## 阻塞(重要) + +阶段 B 第 2 批起,`www.eduego.com` 对本机 IP 返回 nginx 403(含 `/robots.txt`),持续 100 分钟以上未恢复,按纪律停止请求、未做任何绕过(未换 UA/代理/身份)。已抓到的 25 篇 HTML 在 403 生效前落盘,离线解析可用。 + +## 产物 + +`D:\择校\运行暂存\eduego_tuition_20261031\` + +- `tuition_rows.csv` 492 行 × 21 列(含 `data_source`、`_table_idx/_row_idx` 回溯定位) +- `schools.csv` 502 校(含头部"学制/学费区间"摘要、候选数、成行数) +- `skipped.csv` 1,106 行(http_403 24 + not_attempted 1,082) +- `summary.json`、`sample_check.csv`(10 行抽样对照) +- `raw/` 527 个 HTML(502 列表页 + 25 文章) +- 中间件:`articles_stage.csv`、`candidates.csv`、`cached_articles.csv`、`requests.log` + +## 验证 + +10 行抽样(8 篇、4 种表格格式)与原始单元格逐列对照:专业名/六位代码/学制/学费列均未错位;杭电 2026 MBA 全程 115000 与库内一致;清华 41.8 万元/生 与"第一年 20.9、第二年 20.9"自洽。 + +## 未完成 / 下一步 + +- 1,082 篇候选未抓。站点恢复后:`python -B stageB.py`(3 线程、0.6-0.9s 全局间隔,脚本已按此默认值改);若再次 403,直接停并改日重试。 +- 133 行 unit 为"万元/元"(原文与表头都没标年/全程),未推断,`tuition_per_year_derived` 留空,待人工或院校官网核。 +- 入库前按 `docs\审计口径规范.md` 做 `tuition_total/tuition_year/duration` 分流;`major_code` 仅 33 行有值(多数页面原表无代码列,未猜)。 diff --git a/docs/agent_handoffs/20261031_启航学费与2026院系线核定.md b/docs/agent_handoffs/20261031_启航学费与2026院系线核定.md new file mode 100644 index 000000000..15792c098 --- /dev/null +++ b/docs/agent_handoffs/20261031_启航学费与2026院系线核定.md @@ -0,0 +1,19 @@ +# 2026-10-31 启航 jixun.iqihang 学费/2026院系线核定 + +## 目标 +把启航两类数据的字段与可采量核到可写库程度,区分「源侧没有」与「未取全」。只读,未写库。 + +## DONE +- 入口规则:学费 `/schoollist/{校id}/xfjj/` → `/schoolxfjj/{文章id}.html`(一校多篇,取最新);院系线 `/zixun/fenshuxian/index_{n}.html`,2026 批次占 p1–p95,约 1,700 篇。 +- 字段表:院系线 9 列(计划/推免/剩余/复试人数/政治英语/业务课/总分,专业码含字母 0812J1);学费 12 列(院系/专业/方向/拟招统考/推免/学费/折算办法),仅中科大式详表有专业级。 +- 样本:学费 11 校(专业级 1、有值 5、空壳 6);院系线 20 篇(有效 7、空壳 13)。有效数据篇率 35%。 +- 去重:neworiental 2026 33,515 行/409 校、空线 11,545 行;启航粒度更细(西工大光电院 5 行 vs 3 行),专业码完整;neworiental `plan_count` 疑为推免数。 +- 净新增(外推):院系线专业级全新 250–500 行、可补空线 1,500–2,500 行;学费 1,000–1,500 行(多院校/学位级)。 + +## 证据 +`D:\择校\运行暂存\agent_probe_20261031\qihang\`:README.md、fsx_samples.csv、tuition_samples.csv、sql_*.txt、raw/*.html + +## TODO / 下一步 +1. 院系线新建 `iqihang_college_lines`(保留专业码字母/方向/推免/剩余/复试人数),按「院校+院系+专业码+方向」匹配 neworiental 回填 score_line。 +2. 学费只入 `core_tuition`(source='启航')补 507 校之外的院校级,专业级明细补 `pd_dir_detail.tuition_year`。 +3. NOT_VERIFIED:p96–p104 边界未逐页确认(±150 篇);学费 870 校全量表单率未实测。 diff --git a/docs/agent_handoffs/20261031_官方原件重下解析_2022报录与2023分数线.md b/docs/agent_handoffs/20261031_官方原件重下解析_2022报录与2023分数线.md new file mode 100644 index 000000000..4ce197b42 --- /dev/null +++ b/docs/agent_handoffs/20261031_官方原件重下解析_2022报录与2023分数线.md @@ -0,0 +1,67 @@ +# 官方原件重下解析:2022 报录 + 2023 分数线(2026-10-31) + +## 目标 + +归档清单里的官方原件只剩 URL(库内 `notice_files` 零命中),需重下并结构化: +- 2022 `官方原件清单_2022.csv` 11 条(4 xlsx 报录统计 + 5 pdf + 2 doc) +- 2023 `官方原件清单_2023.csv` 55 条(50 分数线 + 4 复试办法 + 1 拟录取办法) + +清单来源:`D:\择校\_归档\_待删_20261022\staging\运行批次\parallel_sources\qoder_slot_fill_13_20260927\out\` + +## 已完成 + +1. **下载**(`download_recover.py`):66/66 条已跑完,总请求 66 次(预算 ≤150,无重试)。 + - 成功 57,失效 9(全部为北京建筑大学 9 条:返回 540 字节防盗链 HTML 占位页,扩展名 .pdf)。 + - 57 份成功件的 **bytes 与 SHA-256 与清单 100% 一致**(零差异),即拿到的是同一份原件。 +2. **2022 解析**(`parse_xlsx_2022.py`):973 行,覆盖 8 份原件。 +3. **2023 解析**(`parse_pdf_2023.py`):444 行,覆盖 33 份原件。 +4. **抽样对照**(`verify_and_manifest.py`):2022 抽 5 行、2023 抽 5 行,逐行回原文表格比对,10/10 一致。 + +## 产物 + +| 文件 | 说明 | +|---|---| +| `运行暂存\official_recovery_20261031\raw\2022\` | 11 份原始文件 | +| `运行暂存\official_recovery_20261031\raw\2023\` | 55 份原始文件(9 份为 HTML 占位) | +| `parsed\baolubi_2022_rows.csv` | 973 行 × 35 列 | +| `parsed\score_lines_2023_rows.csv` | 444 行 × 26 列 | +| `manifest_final.csv` | 66 条:状态/字节/SHA/解析状态/行数/列置信度 | +| `logs\sample_check_2022.csv`、`sample_check_2023.csv` | 抽样对照(含原文行) | +| `logs\pdf_parse_stats.csv` | 逐份 PDF 解析状态 | + +## 2022 结果(973 行) + +| 学校 | 原件 | 行数 | 关键列 | +|---|---|---|---| +| 首都医科大学 | 08 pdf | 281 | 录取总数/推免/统考 + 最高/最低分 | +| 西北师范大学 | 10 pdf | 158 | lqrs 录取 / bkrs 报考 / tmrs 推免 | +| 中国矿业大学 | 03 xlsx | 142 | 报名/录取含推免/录取不含推免(全日制+非全 2 sheet) | +| 宁波大学 | 01 xlsx | 124 | 报考/录取/推免/国家线/最高最低(一志愿+调剂) | +| 中国地质大学(武汉) | 02 pdf | 112 | 单科 4 列 + 总分 + 推免/录取/报考 | +| 浙江工商大学 | 11 xlsx | 80 | 报考/上线/推免/一志愿/调剂/士兵/合计 | +| 南昌航空大学 | 07 pdf | 72 | 2020–2022 三年统考录取与最低分 + 2023 预计招生 | +| 昆明贵金属研究所 | 04 xlsx | 4 | **招生专业目录**(计划/考试科目),非报录比 | + +- 浙工商解析完整性已用表内"小计"校验:学术型报考 4762、专业型 12786、推免 24/5、一志愿 616/1350、调剂 210/344 全部与原表小计一致。 +- 2023 黑龙江报名公告(09)与 2 份 .doc 未解析(非报录数据 / 非任务格式)。 + +## 2023 结果(444 行) + +- 涉及 6 校:中国矿业大学 131、中央财经大学 105、西北政法大学 63、河南农业大学 56、郑州轻工业大学 51、广东工业大学 38。 +- `plan_type` 区分口径:`normal` 351(院校专业线)、`national` 76(国家线 A 类门类)、`special` 17(央财专项计划线)。 +- 置信度:high 113 / medium 314 / low 17(low 全为专项线)。 +- 30 份含专业代码表的解析行数与原文表格代码行数 **逐份 diff=0**(含矿大 4 页/3 页跨页续表 72/59 行)。 +- 跳过:9 失效(北建大)、6 无文字层(郑轻)、1 文字层乱码(郑轻 40)、3 .doc(含暨南分数线)、2 复试办法(公安/警察)、1 央音复试办法(无分数表)。 + +## 验证 + +- 抽样 10 行(2022 五校 + 2023 五份不同文件)与原文表格逐字段比对:10/10 一致。 +- 数值合法性:total 全部落在 100–450;仅 4 条"单科>100"=153 属教育学 300 分制正常线,非异常。 +- 专业代码保留前导零与字母(如 0901Z1、0972Z1、0201Z1、1204J2),共 34 行带字母代码。 + +## 未完成 / 下一步 + +- 未入库。两个 CSV 待按 `docs\审计口径规范.md` 决策是否并入 `fact_*`(2022 报录需与既有 `ggyx_*` 去重;2023 线需与 `fact_score` 比对)。 +- 同校同专业跨文件重复(如农大 095131 出现在 3 份 PDF)按原文保留、未合并;入库时需带 `source_file` 作区分键。 +- 9 条北建大失效件可尝试站内检索替代路径(本期按要求记 manifest 后不再重试)。 +- 央财/广工原件无专业代码列,只能按专业名/学科门类匹配,入库前需名称对齐。 diff --git a/docs/agent_handoffs/20261031_官方来源增量与2027缺口补采.md b/docs/agent_handoffs/20261031_官方来源增量与2027缺口补采.md new file mode 100644 index 000000000..852bb61e4 --- /dev/null +++ b/docs/agent_handoffs/20261031_官方来源增量与2027缺口补采.md @@ -0,0 +1,170 @@ +# 2026-10-31 官方来源增量与 2027 缺口补采 + +## 目标 + +按“近年份优先、先复用库内来源、采集后及时入库”的要求,检查现有官方院校来源、研招网目录和点对点目录是否有更新;平台接口失效时保留失败证据,不把登录失效误判为无数据。 + +## 本轮已完成 + +### 官方院校来源 + +- 先用 `数据库/fetch_official.py --sweep --workers 8 --limit 20 --sub 1` 做抽样,确认 2026-10 月仍有新公告后,再执行 `数据库/refresh.py --split 8 --skip-probe --workers 16 --sub 1 --days 60 --no-attach`。 +- 实际处理 319 所院校;扫描结果有 216 条候选通知,去重与收敛后写入 213 条 `notices_all` 新记录,覆盖 83 所院校。 +- 213 条中有 195 条标题或 URL 明确对应 2027;正文已写入的通知占大多数,15 条为直链 PDF/RAR。 +- 当前数据库计数:`notices_all=6,987`,最大 `found_at=2026-10-31`,最大发布日期 `2026-10-27`;正文隐藏附件补采后 `notice_files=1,080`,其中 `status='ok'` 为 1,019。 +- 15 个直链文件已经落盘到 `官方资料/最新通知2027/`,共 4,627,170 字节;本轮已按 URL 哈希逐条核验并登记到 `notice_files`,总记录从 751 增至 766,`notices_all.attach` 已回写路径。其中 13 个 PDF 已抽取文本并回填 `notices_all.body/body_len`,18 位身份证号按现有 `fetch_official.mask_ids` 规则脱敏;剩余 2 个 RAR 保留为文件证据,`body_len=0`。 +- 登记前备份与回执在 `运行暂存/入库前备份/20261031_official_attach_pre/`,包括 `notice_files.csv.gz`、`direct_notices.csv.gz` 和 `receipt.json`;15 条均为本地文件存在、字节数和 SHA-1 可复核。 +- PDF 正文抽取候选在 `运行暂存/official_pdf_body_extract_2027.json`;正文回填前的受影响行、文件哈希和更新回执在 `运行暂存/入库前备份/20261031_official_pdf_body_pre/`(`notices_before.csv.gz`、`receipt.json`)。回执为 `rows_targeted=13`、`rows_updated=13`、`remaining_pdf_body0=0`、`remaining_direct_body0=2`。 +- 针对 2027-10 月仍无附件的 49 条近期官方通知做了只读页面探测:17 个页面发现 78 个有效附件链接,12 个复用已有文件、66 个新下载(其中首批 56 个、同页漏挂补齐 10 个);最终 78/78 对已登记,新增下载约 11,771,803 字节。发现清单、增量备份和回执在 `运行暂存/入库前备份/20261031_official_recent_attach_pre/`(`discovery.json`、`notices_before.csv.gz`、`partial_before.csv.gz`、`receipt.json`、`partial_receipt.json`)。 +- 本轮附件闭合复核为 78 个登记对全部存在,字节数和 SHA-1 均一致;剩余 32 条 2027-10 月通知页面未发现可识别附件。一次包装器字段错误产生的 15 条临时失败记录已备份到 `wrapper_error_rows.csv.gz` 后清理,当前错误行计数为 0。 +- 对这 32 条页面做了更宽的只读复查:检查所有 `href/src/data/onclick`、内联脚本和无扩展名下载接口,发现 88 个候选接口;逐个只读探测响应头和文件魔数后确认 17 个真实文档(约 2,865,180 字节),包括重庆医科大学 12 个考试大纲 PDF、浙江中医药大学 4 个表格/文档、宝鸡文理学院 1 个 DOC。17 个 URL 在 `notice_files` 中此前均不存在,已按响应文件名落盘并登记,3 条通知的 `attach` 已回填;当前同口径无附件页面从 32 条降为 29 条。 +- 宽扫描与响应探测证据在 `运行暂存/official_attachment_wide_scan_20261031.json`、`运行暂存/official_attachment_download_probe_20261031.json`;入库前备份与 PASS 回执在 `运行暂存/入库前备份/20261031_official_hidden_attach_pre/`(`notices_before.csv.gz`、`notice_files_before.csv.gz`、`receipt.json`)。本批 `changelog` 记录为 `official_hidden_attach_ingest_20261031`,回执 SHA-256 为 `b86ea72a10931a6358feed421297a4c072c2ab99d26f7b164d2e310e563f2cbf`。 +- 本轮生成的可复核产物:`数据库/抓取分片/auto_0.jsonl` 至 `auto_7.jsonl`、`最新通知.md`、`最新通知.csv`、`0856官方层_缺口归因.csv`、`官方资料/最新通知2027/`。 + +### 点对点目录缺口 + +- 变更前备份: + - `运行暂存/入库前备份/20261031_pd_gap_pre/dir_hist.csv.gz`,154,685 行,SHA-256 `a4bbf2c922c7a734e6efe3e9bf1c9bc9fcf54062348bb204eb4b2bfd507add4c`。 + - `运行暂存/入库前备份/20261031_pd_gap_pre/pd_dir_detail.csv.gz`,172,897 行,SHA-256 `a588d2dd765d112659e540658f3173b278df73dab1703605b2ec8b327fde7ba1`。 +- 原有 `运行暂存/ggyx采集/pd_alias.json` 未覆盖,另存 `pd_alias_pre_20261031.json`;新增经页面标题和目录表只读验证的 `pd_alias_v2.json`,包含 8 组历史校名映射: + - 中国科学院大学 ← 中国科学院研究生院(dx=188) + - 江苏师范大学 ← 徐州师范大学(dx=396) + - 闽南师范大学 ← 漳州师范学院(dx=478) + - 贵州医科大学 ← 贵阳医学院(dx=733) + - 喀什大学 ← 喀什师范学院(dx=847) + - 安徽建筑大学 ← 安徽建筑工业学院(dx=461) + - 河北地质大学 ← 石家庄经济学院(dx=220) + - 中国矿业大学(10290) ← 中国矿业大学(徐州)(dx=401) +- 使用 v2 别名运行现有 `脚本/ggyx采集/fetch_pd_gap.py`,不改 tracked 采集脚本:待处理 693 个历史校名任务,HTTP 请求成功 693,失败 0;写入 `dir_hist` 431 行、`pd_dir_detail` 612 行(表内按键覆盖计数为 482);当前表计数分别为 155,116 和 173,379。 +- 历史复核曾将 CHSI 差异键从 4,536 降至 4,444,并记录剩余未映射任务为 1,803 键、110 所院校;当前只读重算结果见“其他来源状态”小节,不能再把这组历史数字当作当前缺口。 +- `pd_gap_state.json` 当前记录 5,370 个已完成状态;“请求成功”只表示源页 HTTP 成功,不等于每个专业键都解析出了目录行。 + +### 官方目录 PDF 结构化补采 + +- 对本轮直链目录 PDF 做了零写入表格探测,确认文本表格可解析;从浙江万里学院和潍坊学院的官方 2027 专业目录中抽出 23 个专业级键(浙江万里学院 16、潍坊学院 7)。 +- 23 行已追加到 `dir_hist`,`证据级别=一级`、`来源=院校官网PDF`,保留每条官方 PDF URL;`dir_hist` 从 155,116 增至 155,139。 +- 其中 20 个键与 `chsi_2027_dir` 专业键交集,3 个键为院校 PDF 有而 CHSI 当前没有:浙江万里学院 `085800`,潍坊学院 `085601`、`085602`。这些行作为官方第二来源保留,没有覆盖或删除 CHSI 数据。 +- 结构化抽取候选及 PDF SHA-1 在 `运行暂存/official_catalog_pdf_2027_extract.json`;事务回执和受影响行备份在 `运行暂存/入库前备份/20261031_official_catalog_pre/`。 +- 此次补采后,CHSI 与 `dir_hist` 的差异键由 4,444 降至 4,424,涉及院校由 530 降至 528。 +- 山东医药大学 7 行入库后,当前 CHSI 与 `dir_hist` 差异键为 4,419,涉及院校仍为 528;其中多院系重复码仍按粒度规则留证,不用总和覆盖点对点值。 +- 对湖北省委党校和齐齐哈尔医学院的官方目录 PDF 做了只读交叉核验:湖北 4 个专业键、齐齐哈尔 48 个方向行聚合出的 19 个专业键均已存在于 `dir_hist`,没有重复写入。湖北 PDF 的“中共党史党建学”与库内“中共党史党建”存在名称变体;齐齐哈尔 PDF 按多个附属医院/方向合计招生人数,与点对点源页的首方向单行值不是同一粒度,不能盲目覆盖。核验结果保存在 `运行暂存/official_catalog_pdf_2027_crosscheck.json`。 +- 对近期新增的上海海关学院和山东医药大学官方 2027 目录 PDF 做了结构化核验:上海海关学院 6 个专业键与现有目录及人数一致;山东医药大学识别 73 个专业键,其中 7 个现有 `dir_hist` 缺失且为单行清晰的自设/新专业码,已以 `证据级别=一级`、`来源=院校官网PDF` 追加,`dir_hist` 从 155,139 增至 155,146。`1002Z3` 在 PDF 中跨两行/多院系,保留为延后裁决证据,不合并写入主表。 +- 新目录抽取与 7 行入库回执在 `运行暂存/official_catalog_pdf_2027_extract_additional.json`、`运行暂存/入库前备份/20261031_official_catalog_pdf_additional_pre/`;交叉核验总账已更新到 `运行暂存/official_catalog_pdf_2027_crosscheck.json`。新增官方 PDF 行合计 30(山东医药大学 7、浙江万里学院 16、潍坊学院 7)。 + +### 2027 `dir_hist` 招生人数缺口回填 + +- 复核 `dir_hist` 2027 空招生人数 35 行,全部能在 `chsi_2027_dir` 找到同校同专业键;按规范 §1.2a 对 `专业:N` 组取 MAX、`研究方向:N` 组取 SUM,再跨院系组求和,未直接盲目 SUM 方向行。 +- 使用现有脚本 `脚本/fix_dirhist_enroll.py` 回填 35 行,`来源` 更新为 `点对点考研+研招网2027`、`证据级别` 更新为 `官方(chsi回填)`;其中 24 行官方值为 0,保留为真实计划数,不改成 NULL 或删除。 +- 回填后 2027 `dir_hist` 招生人数空值为 0,`dir_hist` 总行数仍为 155,146。回填摘要、旧/新备份哈希在 `运行暂存/logs/dir_hist_chsi_backfill_20261031.json`;旧 10 月 22 日备份已另存为 `运行暂存/ggyx采集/dir_hist_回填备份_20261022_pre_20261031.csv`,SHA-256 `275BAA...543C9A2`。 + +### 2027 官方页面全量附件宽扫描与入库 + +- 对 `source='official_web'` 且标题或 URL 含 `2027`、当前 `attach` 为空的 752 条页面做了只读扫描;663 页可正常读取,提取 481 个唯一链接,过滤控制字符、通配符和非文档路径后保留 453 个候选 URL。 +- 响应头和前 64 KiB 魔数探测确认 136 个文档(PDF/Office/ZIP/OLE),另有 21 个 RAR 只保留探测证据;探测统计在 `运行暂存/official_2027_all_attach_probe_20261031.json`,扫描清单在 `运行暂存/official_2027_all_attach_discovery_20261031.json`。 +- 136 个文档全部完成下载登记:首批 134 个、天津音乐学院定向重试 2 个,合计 `110,742,370` 字节;`notice_files` 中批次明细分别为 `official_2027_all_attach_20261031`(134 条)和 `official_2027_all_attach_20261031_retry`(2 条)。入库前备份与首批回执在 `运行暂存/入库前备份/20261031_official_2027_all_attach_pre/`,重试备份与回执在 `运行暂存/入库前备份/20261031_official_2027_all_attach_retry_pre/`。 +- 首批 2 个天津音乐学院 PDF 曾因远端提前断开而失败;带来源页 Referer 的定向重试均一次成功,回执日志为 `运行暂存/logs/retry_tianjin_music_attachments_20261031.log`。全批次本地闭合日志 `运行暂存/logs/official_2027_all_attach_closure_20261031.log`:136 条记录、136 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0。 +- 直链恢复前,`source='official_web'` 的 2027 页面共 972 条,其中 274 条已有附件、698 条仍无附件;近期(`pub_date>=2026-10-01`)无附件为 29 条。该数字仅作恢复前基线,当前结果见后文;无附件也不等于页面没有正文或附件。 + +### 2027 官方直链恢复与附件闭合修复 + +- 针对 2027 无附件记录中“URL 本身就是文档”的候选做了独立探测。去除已有 `notice_files` URL 后,20 个新直链中 14 个首轮确认有效,2 个河北医科大学 `.xls` 因 TLS 校验失败,经 `verify=False` 定向复核成功;4 个链接返回 404。探测与重试证据在 `运行暂存/official_2027_direct_url_probe_20261031.json`、`official_2027_direct_url_retry_20261031.json`。 +- 另有 71 个旧 `notice_files` 记录指向的本地路径在迁移后已不存在;仅对 URL 本身带文档扩展名的记录重新探测,54 个有效(37 PDF、15 ZIP/Office、1 OLE、1 RAR),17 个为 404、502 或返回 HTML 页面。证据在 `运行暂存/official_2027_stale_direct_probe_20261031.json`。 +- 合并两批有效 URL 后重新下载并登记 70 个文件,合计 `76,859,337` 字节,新增或修复 70 个当前通知键;`notices_all.attach` 已按当前通知键回填。旧失效 `cached` 行未删除,也未把不存在的旧路径直接当作有效文件。 +- 入库前备份与回执在 `运行暂存/入库前备份/20261031_official_direct_and_repair_pre/`,回执为 `PASS`、`candidate_urls=70`、`rows_inserted=70`、`notice_file_rows=70`、`failed=0`。本地闭合日志 `运行暂存/logs/ingest_official_2027_direct_and_repair_20261031_result.log`:70 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0、附件回填错误 0。 +- 下载端点补采完成时,`source='official_web'` 的 2027 页面共 972 条,其中 348 条 `attach` 字段非空、624 条仍无附件;近期(`pub_date>=2026-10-01`)无附件为 29 条。正文隐藏附件补采后的当前结果见后文,近 60 天报告仍为 1,113 条。 + +### 2027 官方下载端点补采 + +- 对当前 `attach` 为空且 URL 命中 `download`、`wbfileid`、`downfile`、`system/_content` 或 `upload` 的 153 条官方 2027 页面做只读探测;按 URL 去重后仍为 153 个端点,未跳过任何当前 `(notice_key,url)` 的 `status='ok'` 记录。 +- 响应头与前 128 KiB 魔数确认 4 个真实文档:贵州民族大学 PDF、机械科学研究总院 DOCX、福州大学 2 个 XLS,合计 `203,834` 字节;144 个端点返回 HTML、3 个明确 HTTP 错误、2 个连接超时,均未写入附件表。探测证据为 `运行暂存/official_2027_download_endpoint_probe_20261031.json`,摘要日志为 `运行暂存/logs/official_2027_download_endpoint_batch_20261031.json`。 +- 首次入库先成功登记 2 个文件;福州大学端点存在瞬时 HTML 响应,带 `Referer` 和三次魔数重试后剩余 2 个 XLS 均通过长度与 SHA-1 校验并登记。最终闭合日志 `运行暂存/logs/closure_official_2027_download_endpoint_20261031.json`:4 条、4 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0、附件回填错误 0。 +- 当前 `source='official_web'` 的 2027 页面仍为 972 条,其中 348 条 `attach` 非空、624 条无附件;近 30 天无附件仍为 29 条。下载端点入库回执与受影响键备份在 `运行暂存/入库前备份/20261031_official_2027_download_endpoint_pre/`;最终重试回执为 `PASS`、2/2、90,112 字节,完整批次以探测 JSON 和闭合日志为准。 + +### 2027 近期页面正文隐藏附件补采 + +- 对近 30 天仍无附件的 29 条官方页面,复用页面宽扫描中提取的 `system/_content/download.jsp` 端点做只读魔数探测;去除当前已登记键后得到 71 个端点,涉及 9 所院校。 +- 71 个响应均为 HTTP 200,其中 9 个确认是真实文档:安康学院 2 个 XLSX、江西科技师范大学 1 个 XLSX、北京农学院 2 个 DOCX、河北经贸大学 2 个 PDF、中共广东省委党校 1 个 XLS 和 1 个 DOCX;62 个返回 HTML/非文档响应。探测与汇总证据在 `运行暂存/official_2027_body_attachment_probe_20261031.json`、`运行暂存/logs/official_2027_body_attachment_batch_20261031.json`。 +- 9 个文件均下载并登记,合计 `389,310` 字节,影响 5 个通知键;本地闭合日志 `运行暂存/logs/closure_official_2027_body_attachment_20261031.json` 为 9 条、9 个唯一路径、缺失 0、大小错误 0、SHA-1 错误 0、附件回填错误 0。入库前备份与回执在 `运行暂存/入库前备份/20261031_official_2027_body_attachment_pre/`,回执为 `PASS`。 +- 华侨大学 3 个页面对应的 61 个附件端点均返回标题为“用户验证”的 HTML 验证页,未返回文件;这 61 个响应保留在探测 JSON 中,当前不绕过验证码、不伪造附件登记,相关页面继续计入无可登记附件。 +- 当前 `source='official_web'` 的 2027 页面共 972 条,其中 353 条 `attach` 非空、619 条无附件;近 30 天无附件降至 24 条。 + +### 其他来源状态 + +- ggyx 当前 token 仍返回业务 `code=201`、`登录失效,请重新登录`;本轮没有注销、没有执行会写回 token 的 `grab_token.py`,也没有删除 `运行暂存/ggyx_chrome/`。 +- CHSI 公开接口对 10 个现有 2027 键逐行只读比对,关键字段无差异;未做全量重采。正式重采前应把脚本默认缓存路径从不存在的 `D:/zexiao_cache/chsi_2027` 指向 `D:/择校/运行暂存/zexiao_cache`。 +- 现有官方入口的 `sources.last_checked` 仍有大量历史值;本轮新鲜度以 `notices_all.found_at=2026-10-31` 和新增记录为准,不把 `last_checked` 误当成完整覆盖证明。 + +- 在 new9 增量入库前,`chsi_2027_dir` 与 `dir_hist` 的只读实时差异为 4,419 个 `(院校,专业代码)` 键、528 所院校;当时按 `pd_school_map.json` 与 `pd_alias_v2.json` 可映射 3,237 个任务,未映射 1,182 个键、100 所院校。未执行会以 `MAX_ID=1300` 覆盖现有 1..2400 映射的旧 `fetch_pd_map.py`。 +- CHSI 2027 `yjfxs.do` 实时小样本探测覆盖 20 个当前差异键,20/20 返回 HTTP 200 业务 JSON,共 49 个方向行;与库内对应方向 ID 集合逐项比对无差异,因此本轮没有重复写入 `chsi_2027_dir`。证据在 `运行暂存/chsi_2027_refresh_probe_20261031.json` 和 `运行暂存/logs/chsi_2027_refresh_probe_20261031.log`。 + +### 2026-10-31 收口复核(全表闭合) + +- 停止了未完成的“每校分散”点对点只读探测;该进程只发 HTTP 请求、未调用 `P.save`,没有数据库写入。已完成的自设码样本为 30/30 HTTP 200、解析 0 行;数字码样本为 30/30 HTTP 200、5 个解析到历史 2021/2022 行、2027 行为 0,不能把该样本外推为全量命中率。样本证据保留在 `运行暂存/pd_gap_custom_sample_probe_20261031.json`、`运行暂存/pd_gap_numeric_sample_probe_20261031.json`。 +- new9 入库前的稳定库只读重算:`chsi_2027_dir` 专业键 37,213,`dir_hist` 去重键 40,753;差异为 4,419 个 `(院校,专业代码)` 键、528 所院校。按 `pd_school_map.json` + `pd_alias_v2.json` 可映射 3,237 键(428 所),未映射 1,182 键(100 所);其中纯数字码可映射 996 键,含字母/自设码 2,241 键。该段为增量入库前基线,当前值见下方 new9 小节。 +- 官方通知当前仍有 619 条 2027 页面无可登记附件,近 30 天为 24 条;`pd_dir_detail` 学费空 2,339 行,`fact_score` 分数空 6,143 行,均为源侧缺口/待补采项。 +- CI 完成后单独重跑全表审计,最终遍历 schema 中 191/191 张表;其中 189 张非空表进入审计汇总,`ggyx_school_major` 与 `global_assessment_undo` 为空表(各 0 行),没有漏掉非空表;`fact_score_dist`(1,800,976 行)已纳入。字段剖面 2,780 个,问题 255 个:P4=254、P5=1。34 个 view 不计入“表”数量,由事实层/四维审计读取。 +- 本轮最终日志:`运行暂存/logs/audit_all_tables_20261031_close_final.log`、`audit_data_quality_20261031_close_final.log`、`audit_four_dims_20261031_close_final.log`、`run_audit_ci_20261031_close.log`、`sqlite_quick_check_20261031_close.log`;`run_audit_ci` 硬性项全部 PASS,四维台账 P0=1/P1=1/P2=2,SQLite `quick_check=ok`。 + +### 2026-10-31 增量补采与来源归因(new9 后) + +- 结构解析遗漏已用临时解析器修复并入库:上海核工程研究设计院 `085800`、`082700` 两个 2027 键,写入 `dir_hist=2`、`pd_dir_detail=2`;未修改生产解析器的正则。入库前备份在 `运行暂存/入库前备份/20261031_pd_structural_pre/`,回执在 `运行暂存/pd_structural_mismatch_20261031.json`。 +- 现行 Popedu 专业索引发现 9 所院校的新 `dx_id`,按 234 个缺口键做只读探测后,226 个键有 2027 目录记录,8 个键页面明确显示“暂未公布招生目录”。随后已入库:`dir_hist` 新增 937 行,`pd_dir_detail` 写入/覆盖 2,231 行;批次回执 `运行暂存/pd_new_dx_gap_20261031.json`,备份 `运行暂存/入库前备份/20261031_pd_new_dx_new9_pre/`。 +- 8 个“源侧未发布”键为:南方科技大学 `0708Z1`、`0801Z1`、`0801Z2`;太原师范学院 `0705Z2`、`1301Z1`;西安工程大学 `1201J3`;郑州航空工业管理学院 `0202Z1`、`0825Z1`。这 8 个不是解析失败,应归为“当前源站未公布目标年份”。分类证据在 `运行暂存/pd_new_dx_empty_classification_20261031.json`。 +- new9 入库后的中间复算结果曾为 4,191 个缺口键/522 校;随后全量 CHSI 2027 年份缺口补采将其闭合,当前值见下方“CHSI 全键闭合”。中间归因快照曾写入 `审计报告/2027目录缺口归因_20261031.csv`,当前文件已改为零行(只有列头)。 +- new9 后、CHSI 全键闭合前,2027 `dir_hist` 曾仅剩西安工程大学 `081400` 一个招生人数空值;当前该行已经按 CHSI 方向级文本“研究方向:0”回填为官方 `0`。当前还剩 138 个招生人数空值,均为 CHSI 只给到“院系所/一级学科”汇总的层级,不能推定为专业计划或按零值填充。 +- 第三方来源已实采入库,但没有覆盖官方事实层:`neworiental_major_lines` 当前 253,290 行(2022-2026,其中 2026 年 52,862 行),本轮新增 185,727 行;状态为 `reference_only=241,546`、`conflict=11,744`。`zgc_major_lines` 当前 94,873 行(2020-2024),本轮新增 55,353 行,其中 `school_code_unresolved=3,110` 等行带质量标记。另有 `neworiental_2027_catalog` 51,299 行、`qihang_tuition` 2,148 行。`source_recovery_facts` 共 287,080 行:205,463 第三方候选、60,227 参考暂存、21,390 待官方核验。上述数据作为分层第三方/参考数据保留;不能直接覆盖 `global_facts`,候选值进入事实交付层前仍需来源和业务键核验。 +- 多代理来源复核的下一批优先级: + - 中国传媒大学 2027 官方目录(`https://yz.cuc.edu.cn/2026/0930/c8550a274510/page.htm`):官方页有 53 个独立键,当前 CHSI 59 键,属于官方页面漏扫/代码交叉差异,优先补证据,不把第三方页面直接入事实层。 + - 中国人民大学 2027 官方目录(`https://pgs.ruc.edu.cn/info/1041/3636.htm`):当前解析 61 个独立键,需按最新页面哈希重解析;与本地 CHSI 仍有 3 个键差异。 + - 广州中医药大学 2027 官方目录(`https://yjsy.gzucm.edu.cn/info/1004/19796.htm`):官方 60 键,点对点表少 9 键,适合直接补采;参考书图片页需单独 OCR,不与目录事实混写。 + - 上海市委党校 2027 官方通知(`https://yjs.sdx.sh.cn/info/1002/18551.htm`):官方学费/学制与当前点对点值冲突,先登记 conflict evidence,禁止覆盖现有值。 + - 南京艺术学院目录、南京农业大学学费 DOCX、陕西理工大学学费页、华南师大动态目录均已确认可访问或存在附件;其中验证码/动态壳只记为访问边界,不把失败响应归为“没有数据”。 +- 两个高收益影子新 ID(中国科学院大学 `3153`、江苏师范大学 `2965`)抽样 24 键全部 HTTP 200 且有 2027 记录,确认是旧映射造成的采集缺口。全量影子请求因上游慢响应/限流中止,未写库、未改 `pd_alias_v2.json` 或 `pd_gap_state.json`;脚本现在支持 `--timeout/--retries/--limit/--offset`,后续按小批次继续。 + +### CHSI 全键闭合(2026-10-31) + +- 对照分母 `chsi_2027_dir` 的 37,213 个 `(院校,专业代码)` 键,分轮按可计算专业计划、独立自设专业码、年份切片缺失追加官方行:`dir_hist` 分别新增 1,766、2,115、2,918 行。自设码批次 2,099 行按 `enroll_str` 有可解析数值,16 行只有学科/院系级;年份补采 2,881 行有专业数值,37 行只有较高层级。 +- 加上前面的临时结构解析 2 行和 Popedu 新 ID 937 行,CHSI 全键闭合批次共新增 7,738 行;从 `dir_hist=155,146` 增至 `162,884`。三批 CHSI 回执分别在 `运行暂存/agent_ingest_20261031/dirhist_chsi_backfill_receipt.json`、`chsi_selfdesigned_receipt.json`、`chsi_2027_year_backfill_receipt.json`,各自 dry-run 清单及完整库备份也保存在相邻目录/`运行暂存/入库前备份/`。 +- CHSI 分母闭合当时逐键 `EXCEPT` 为 **0 键 / 0 校**。之后按多代理发现的院校官网独有目录做交叉核验:中传官网列出 CHSI 未列的 `025800`、`0503Z6`,人大官网列出 CHSI 未列的 `045100`、`055300`、`125600`;五键在本地表原先均不存在,现已依据官方原页补入 `dir_hist`,实际新增 5 行。官网原页、SHA-256、解析行和入库回执在 `运行暂存/official_catalog_refresh_2027_cuc_ruc_20261031/`(`cuc.html`、`ruc.html`、`receipt.json`);入库前行备份在 `运行暂存/入库前备份/20261031_official_cuc_ruc_pre/dir_hist_target_rows.csv`。当前 `dir_hist` 2027 为 37,265 键/908 校,其中比 CHSI 分母多 52 键;这 52 个是 CHSI 以外官网/来源记录,不是缺口。CHSI 缺口归因 CSV 仍为 0 行,因为其分母只代表 CHSI 当前键。 +- 中传官网明确给出两个专业的拟招总人数 `025800=15`、`0503Z6=30`,已按官网总计划写入。人大官网表没有招生计划列,三键只写入专业键和官方来源,计划值保留空,不从学制、学费或科目推算。 +- 2027 `dir_hist` 招生人数空值当前 141 行:138 行来自 CHSI 仅给“院系所/一级学科:N”的较高层级(普通目录 122、自设码 16),不可降格成专业计划;另 3 行是人大官网目录本身没有招生计划字段。西安工程大学 `081400` 的四条 CHSI `研究方向:0` 方向记录按方向级文本值求和后回填为官方 `0`;备份和回执在 `运行暂存/入库前备份/20261031_dirhist_xian081400_pre.csv`、`运行暂存/agent_ingest_20261031/dirhist_xian081400_receipt.json`。 +- 归因结论:最初 4,419 键中,Popedu stale ID/映射缺失和解析结构问题属于采集遗漏;已由 CHSI 37,213 键全量对照与官网增补五键闭合。当前没有已确认而未入库的上述目录键;Popedu 新 dx 的 8 个“暂未公布招生目录”码属于第三方页面明确未发布,不能等同官方 CHSI 目录缺口。招生人数空值 141 是源数据粒度不足或官网不提供该字段,不是解析器漏抓。 +- `--include-shadow` 两校影子 ID 只完成 24 键样本,24/24 有 2027 行;两次全量请求因上游慢响应/限流中止,不能报全量命中,也没有影子批次写库。CHSI 目录键闭合后,这两校 ID 后续仅适合补 `pd_dir_detail` 的科目、学费、学制等字段,需另建按 `pd_dir_detail` 缺字段选键的限速任务。 +- 官网五键入库后的数据库审计:`run_audit_ci.py --fact` 退出 0 且硬性项全 PASS;数据质量、四维、全表扫描均退出 0;全表 191 张、2,816 个字段剖面、254 项问题(P4=253、P5=1);`PRAGMA quick_check=ok`。日志为 `运行暂存/logs/run_audit_ci_20261031_final_after_official_cuc_ruc.log`、`audit_data_quality_20261031_final_after_official_cuc_ruc.log`、`audit_four_dims_20261031_final_after_official_cuc_ruc.log`、`audit_all_tables_20261031_final_after_official_cuc_ruc.log`、`sqlite_quick_check_20261031_final_after_official_cuc_ruc.log`。 + +## 验证 + +- `运行暂存/logs/run_audit_ci_20261031_post_gap.log`:`run_audit_ci.py --fact`,C10/C1/C3/C6/C7 PASS,全部硬性自检通过;C4/C8 为不阻断提示。 +- `运行暂存/logs/audit_data_quality_20261031_post_gap.log`:脚本退出成功;保留源侧缺值告警,包括 `dir_hist` 招生人数空 21,718、`pd_dir_detail` 学费空 2,339、`fact_score` 分数空 6,143。 +- `运行暂存/logs/audit_four_dims_20261031_post_gap.log`:四维台账 4 项,P0=1、P1=1、P2=2;分数线越段 107 行,CHSI 与点对点人数差异 >10 的键 3,573。 +- `运行暂存/logs/audit_all_tables_20261031_post_gap.log`:189 张表、2,780 个字段剖面,255 条问题,全部为 P4/P5(P4 254,P5 1),脚本正常退出。 +- 最新官方目录 PDF 入库完成后,`数据库/zexiao_2027.db` 的 SQLite `PRAGMA quick_check` 返回 `ok`。 +- 附件登记后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_attach.log`、`audit_data_quality_20261031_post_attach.log`、`audit_four_dims_20261031_post_attach.log`、`audit_all_tables_20261031_post_attach.log`;结果与登记前一致,事实层硬性项通过。 +- 官方目录 PDF 入库后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_catalog_pdf.log`、`audit_data_quality_20261031_post_catalog_pdf.log`、`audit_four_dims_20261031_post_catalog_pdf.log`、`audit_all_tables_20261031_post_catalog_pdf.log`;硬性 CI 通过,全表问题仍为 P4=254、P5=1。 +- PDF 正文回填后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_pdf_body.log`、`audit_data_quality_20261031_post_pdf_body.log`、`audit_four_dims_20261031_post_pdf_body.log`、`audit_all_tables_20261031_post_pdf_body.log`;CI 硬性项通过,数据质量和四维结果仍为既有源侧缺值/粒度差异告警,全表仍为 189 张表、2,780 个字段剖面、255 条问题(P4=254、P5=1)。 +- 正文回填后的当前 `数据库/zexiao_2027.db` SQLite `PRAGMA quick_check` 返回 `ok`。 +- 山东医药大学 7 行目录追加后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_catalog_pdf_additional.log`、`audit_data_quality_20261031_post_catalog_pdf_additional.log`、`audit_four_dims_20261031_post_catalog_pdf_additional.log`、`audit_all_tables_20261031_post_catalog_pdf_additional.log`;CI 全部硬性项通过,数据质量与四维结果未新增异常,全表仍为 189 张表、2,780 个字段剖面、255 条问题(P4=254、P5=1)。 +- 目录追加后的当前 `数据库/zexiao_2027.db` SQLite `PRAGMA quick_check` 返回 `ok`。 +- 隐藏附件登记后的最终复核日志:`运行暂存/logs/run_audit_ci_20261031_post_hidden_attach_utf8.log`(`exit 0`,全部硬性自检通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_hidden_attach.log`(`exit 0`)、`audit_four_dims_20261031_post_hidden_attach.log`(`exit 0`)、`audit_all_tables_20261031_post_hidden_attach.log`(`exit 0`,189 表/2,780 字段剖面/255 问题)。 +- 隐藏附件登记后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_hidden_attach.log` 返回 `ok`;17 个新增文件均已按本地字节数与 SHA-1 登记闭合。 +- 17 个新增文件逐条本地闭合复核日志 `运行暂存/logs/hidden_attach_closure_20261031.log`:`rows=17 ok=17 errors=0 bytes=2865180`。 +- 附件登记后已重导出近 60 天通知交付清单:`运行暂存/logs/report_20261031_post_hidden_attach.log`(1,113 条),`最新通知.md`/`最新通知.csv` 已显示新增附件数量。 +- `数据库/verify_db.py` 的通知规模/去重检查通过,但因迁移后缺少 `站点/data/meta.json`、历史来源文件和部分历史本地附件路径而不能宣称完整验证通过。 +- 全量 2027 附件批次后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_official_all_attach_utf8.log`(全部硬性自检通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_official_all_attach.log`(既有源侧缺值告警)、`audit_all_tables_20261031_post_official_all_attach.log`(189 表/2,780 字段剖面/255 问题)、`audit_four_dims_20261031_post_official_all_attach.log`(P0=1/P1=1/P2=2)。 +- 同批次 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_official_all_attach.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_official_all_attach.log`,重新导出 `最新通知.md`/`最新通知.csv` 共 1,113 条。 +- 直链恢复批次后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_direct_repair_utf8.log`(硬性自检通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_direct_repair.log`(既有源侧缺值告警)、`audit_all_tables_20261031_post_direct_repair.log`(189 表/2,780 字段剖面/255 问题)、`audit_four_dims_20261031_post_direct_repair.log`(P0=1/P1=1/P2=2)。 +- 直链恢复后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_direct_repair.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_direct_repair.log`,`最新通知.md`/`最新通知.csv` 仍为 1,113 条。 +- 下载端点补采后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_download_endpoint_utf8_retry.log`(exit 0,全部硬性项通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_download_endpoint.log`(exit 0,保留既有源侧缺值告警)、`audit_all_tables_20261031_post_download_endpoint.log`(189 表/2,780 字段剖面/255 问题,P4=254/P5=1)、`audit_four_dims_20261031_post_download_endpoint.log`(exit 0,P0=1/P1=1/P2=2)。首次 CI 日志的 GBK 子进程编码失败保留在 `run_audit_ci_20261031_post_download_endpoint_utf8.log`,重跑已用 `PYTHONIOENCODING=utf-8` 通过。 +- 下载端点补采后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_download_endpoint.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_download_endpoint.log`,`最新通知.md`/`最新通知.csv` 共 1,113 条。 +- 正文隐藏附件补采后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_body_attachment_utf8.log`(exit 0,全部硬性项通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_body_attachment.log`(exit 0,保留既有源侧缺值提示)、`audit_all_tables_20261031_post_body_attachment.log`(189 表/2,780 字段剖面/255 问题,P4=254/P5=1)、`audit_four_dims_20261031_post_body_attachment.log`(exit 0,P0=1/P1=1/P2=2)。 +- 正文隐藏附件补采后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_body_attachment.log` 返回 `ok`;报告刷新日志 `运行暂存/logs/report_20261031_post_body_attachment.log`,`最新通知.md`/`最新通知.csv` 共 1,113 条。 +- `dir_hist` CHSI 回填后的复核日志:`运行暂存/logs/run_audit_ci_20261031_post_dirhist_chsi_utf8.log`(exit 0,全部硬性项通过,B1=907/B2=1020/B2a=617/B3=935,G2 2027=37,213)、`audit_data_quality_20261031_post_dirhist_chsi.log`(exit 0,2027 空招生人数为 0,历史源侧空值由 21,718 降至 21,683)、`audit_all_tables_20261031_post_dirhist_chsi.log`(189 表/2,780 字段剖面/255 问题,P4=254/P5=1)、`audit_four_dims_20261031_post_dirhist_chsi.log`(exit 0,P0=1/P1=1/P2=2)。 +- `dir_hist` CHSI 回填后的 SQLite `PRAGMA quick_check` 日志 `运行暂存/logs/sqlite_quick_check_20261031_post_dirhist_chsi.log` 返回 `ok`。 + +## 下一步 + +1. 用户恢复 ggyx 登录态后,先按 2027、2026、2025 小批量验证 `collect_exam.py`、`collect_fs_dest_year.py`、`collect_getfs_hist.py`,再决定全量;登录失效期间不要重复跑接口。 +2. 浙江万里学院、潍坊学院和山东医药大学的官方目录 PDF 已解析并入 `dir_hist`;上海海关学院目录与现有行一致;湖北省委党校和齐齐哈尔医学院 PDF 已完成只读交叉核验;其余 PDF/RAR(中国戏曲学院、鞍山师范及考试大纲)按文件类型继续抽取或只做证据归档,不把大纲内容混入目录表。本机当前未发现 `7z`/`unrar`/`rarfile` 解包器,两个 RAR 暂只保留原件和入库回执。全量 2027 页面扫描、直链恢复、下载端点和正文隐藏附件补采已完成,当前 619 条官方页面仍无可登记附件(近 30 天 24 条),后续只对新出现的页面做增量复查。 +3. CHSI 2027 当前键缺口为 0;不再按旧的 956 个未映射键清单开补采任务。后续第三方 Popedu shadow ID 只针对 `pd_dir_detail` 缺科目/学费/学制的 2027、2026、2025 行做限速分批,避免重复补已闭合的目录主键。 +4. 对东北师范大学等旧入口失效但新站可访问的院校,单独解析新站隐藏参数后再入库;不直接把裸接口 500 判为无目录。 + diff --git a/docs/agent_handoffs/20261031_新东方院校库年份补数勘察.md b/docs/agent_handoffs/20261031_新东方院校库年份补数勘察.md new file mode 100644 index 000000000..a8f2dbcfa --- /dev/null +++ b/docs/agent_handoffs/20261031_新东方院校库年份补数勘察.md @@ -0,0 +1,18 @@ +# 2026-10-31 新东方院校库(college.koolearn.com)年份补数勘察 + +## 目标 +核查该源还能补哪些年份/院校,区分「源侧没有」与「我们没取全」。只读,未写库。 + +## DONE +- 签名常量确认:`appId=seoCollege`、`appSecret=appSecret_bkmRpBWSQrKkaw61`(前端明文),出处 `_归档/_待删_20261022/.../qoder_slot_fill_02_20260927/scripts/koolearn.py`;`pageSize=200` 单页可取全(10001/2026 157 行一次返回)。 +- 年份探活(80 请求):year=2022~2027 全部生效(返回体 `year` 与主键集合均随参数变化,非静默忽略)。**2027 已有 908 校目录骨架**(university-list 907/908 条全部 year=2027),但 `professionalLineScore`/`enrollNum`/`adjustNum` 全空或 0,仅 `applicantsNum` 有值且系历史沿用(北大金融 2022–2027 连续 28),不可当 2027 报名数。 +- 盘上有、库里没有:`qoder_slot_fill_13_20260927/out/koolearn_逐专业_调剂与录取实绩_{2022,2023,2024}.csv` = 47,249/49,880/49,989 行、817/852/856 校(含 985×39、211×77、双一流×31 全覆盖),原始响应 `raw/koolearn_scoreline/{2022,2023,2024}` 共 2,137 个 JSON 仍在。库内 `neworiental_major_lines` 仅 2025(34,048/403 校)、2026(33,515/409 校)。 +- 2026「409 校」不是源上限:库缺的 24 所 985/211(人大、中国农大、中央民大、西农、北中医、北外、中传、央财、对外经贸、北体、中央音乐、中国政法、天医、东北农大、上外、上财、矿大、中国药科、华中农大、中南财经政法、西南财大、西藏大学、海军军医、空军军医)探活 2026 全部有数据(total 14–155);普通校抽样 9/10 有数据。 + +## 证据 +`D:\择校\运行暂存\agent_probe_20261031\koolearn\`:probe_log.json、probe2_summary.json、probe3_gap.json、probe4_plain.json、university_list_all.json、gap_candidates.json、ps200_10001_2026.json 及原始响应。 + +## TODO / 下一步 +1. 2022–2024 直接回放入库(零采集,147,118 行);`researchAreaLearnType`(study_mode)需从 raw JSON 或 `s12_koolearn_2022_rows.csv` 补。 +2. 重采 2025/2026 全量(约 856 校×2 年,pageSize=200 基本 1 页/校,≈1,800 请求)。 +3. 2027 仅入目录键,禁止写 score_line/admit_count。 diff --git a/docs/agent_handoffs/20261031_本地第三方入库与全表缺口复核.md b/docs/agent_handoffs/20261031_本地第三方入库与全表缺口复核.md new file mode 100644 index 000000000..5fbd674e5 --- /dev/null +++ b/docs/agent_handoffs/20261031_本地第三方入库与全表缺口复核.md @@ -0,0 +1,32 @@ +# 2026-10-31 本地第三方入库与全表缺口复核 + +- 目标:优先复核可追溯本地原件,分清真实源侧无、采集/整合缺失和语义待核,并完成全表盘点。 +- 中公 2023/2024 写后全表审计:208 个对象、206 张非空表、3,053 字段剖面、249 条提示(P4=248/52 表,P5=1);退出码 0,19.4 分钟。P5 为 `fact_admission.score=627`,原始 `ggyx_admission_list.cs_all_result` 可复现,保留源值。2026/2025 较早快照仍分别保存在 `post_2026_pre_2025_audit_outputs/`、`prewrite_audit_outputs/`。 +- 最新全表日志:`审计报告/local_ingest_20261031/logs/audit_all_tables_post_zhonggong20261031.log`;逐项结果:`审计报告/全表审计_问题清单.csv`、`审计报告/逐项审计_缺口专业清单.csv`、`审计报告/逐项审计_缺口校清单.csv`。全表总账为 `global_facts=3,410,579`、`global_fact_evidence=3,542,809`、`global_source_row_ledger=1,917,492`;较中公写入前各增加 90,734。 +- 当前专业缺口 CSV 54,172 行、折叠后 15,604 个年份×学校×专业键、1,322 个年份×学校组合;2026/2027 分别 33,699/20,473 行。学校缺口 CSV 5,250 行、2,170 个年份×学校组合、565 校;归因 188 零散待复核、1,873 源上限、111 用户决定跳过 2022、206 同源上限未证、2,434 无官方名单/应然分母不可得、438 已量化分母下来源覆盖不足。 +- 2026 专业硬分母 38,228、2027 为 37,213;2026 目录/点对点/学费/学制缺口 8,295/8,295/8,715/8,394;2027 点对点/学费/学制 6,824/6,824/6,825。 +- 2024/2025 本校名单端点源侧无;2023 名单与单科线已对 75 键测试零命中;2022 是明确跳过;不可把这些混作单一“漏采”。 +- Koolearn 2025/26 的 11 字段已写入 742,351 source-observation facts、745,990 evidence、745,990 ledger;3,639 同值、1 冲突保留,六个 batch 不得重提 facts,metadata closeout 待修复。 +- 2026 `applicantsNum -> applicants` stage 50,979 行,SHA `58878784afa0a1bf0382bb069fa2ad02f0e59ffd83f351d3691db7a96036d855`;50,726 新、253 同值、0 冲突,预检 PASS。 +- 2026 writer 第一次因 D 盘 10.03 GiB 被拒;资源恢复后第二次成功提交:50,726 facts、50,979 evidence、50,979 ledger,253 same、0 conflict,`PASS`。receipt `审计报告/local_ingest_20261031/writer_receipts/koolearn_applicants_2026_20261031_r1.json`。management closeout `PENDING_METADATA_CLOSEOUT`,缺 `chinakaoyan_2026_residual_pdf_text_20261017/residual_batch_input_selection.json`;生产提交保留,不得重提 facts。第一次拒绝日志仍在 `审计报告/local_ingest_20261031/logs/koolearn_applicants_2026_writer_gate_reject_20261031.log`。 +- 2025 `applicantsNum -> applicants` 已提交:941 文件、51,525 行;新增 51,131 个 `source_observation` fact、51,525 evidence、51,525 ledger,394 同值、0 冲突,writer `PASS`。提交前刷新预检 PASS,stage 89,030,314 字节,SHA `6003046f6d5e103b7acd72d5388b24451d2f59bbf73650c57ee8c6e527ad4b31`;只读回读三张表行数与回执一致。回执 `审计报告/local_ingest_20261031/writer_receipts/koolearn_applicants_2025_20261031_r1.json`。 +- 2025 closeout 为 `PENDING_METADATA_CLOSEOUT`,因为缺历史 `chinakaoyan_2026_residual_pdf_text_20261017/residual_batch_input_selection.json`;生产提交保留,不得重提 facts。closeout receipt `审计报告/global_writer_stages/writer_closeouts/d346592868e1266dda4e334e.json`。 +- 已确认 Koolearn 原始 `applicantsNum` 被历史采集脚本写入 `neworiental_major_lines.plan_count`(表名为旧命名,来源不是新东方),后续再误当招生计划填入 `dir_hist.招生人数`。只读复原回填前备份并与当前库逐行对账后,11,177 行全部唯一闭合到 `rowid`(2025=6,392、2026=4,785;重复/值歧义=0);主库指纹未变化。明细 `审计报告/local_ingest_20261031/dirhist_koolearn_semantic_backfill_rows_20261031.csv`,SHA `d8f5e37f4473d58136a308fc5de485f4fa3e516973307a646710f9b43e60927a`;摘要 `审计报告/local_ingest_20261031/dirhist_koolearn_semantic_backfill_reconstruction_20261031.json`,PASS_EXACT_ROWID_CLOSED。此 11,177 行不得计作招生计划。当前空值 1,762(2022=589、2023=142、2024=720、2025=131、2026=39、2027=141),按语义重算待核候选合计 12,939;`dir_hist` 现有 10 列无 `data_flag`,后续必须先确定已登记的 sidecar 标记方案或受控 schema 变更,保留原值。 +- Koolearn `onlineNum -> apply_count/online_apply` 的含义未由源端标签闭合;既有 third-party observation 保持低可信,不视作报考人数,不覆盖既有值。 +- 中公写后四项审计均退出码 0:CI 硬性项 PASS;数据质量 222 字段剖面/30 逻辑项;全表 208/206 对象/非空表、3,053 字段、249 提示;四维 P0=1/P1=1/P2=2。四维 P0 为 `pd_dir_detail.enroll_num` 粒度差异;P1 为 2026 名单人数与复试线录取数 13,623/14,579 逐组不等、总量比值 0.990;P2 为 107 个分数线越界键和学费缺少跨源比较。四类日志均在 `审计报告/local_ingest_20261031/logs/`。 +- 分母/校映射差异:当前 `src_major_catalog` 原始 `(school_id,专业代码)` 为 936 个 ID/38,231 键;规范映射矩阵为 B2/B3/G2=`1,020/935/38,230`。`school_id=2781/3635` 的 100203“老年医学”被同名映射合并,解释 1 键差。主库新增映射 `school_id=3648`“陆军航空兵学院”不在 `ggyx.db::dim_school` 1,038 条源表中(主库 `_ingested_at=NULL`),其 4 条目录记录去重为 115300、115600 两键;排除它后规范化数值回到旧文档 B2/B3/G2=`1,019/934/38,228`。用户规则 B2=1,039 是当前原始 ID 数,与规范化 B2 不同口径;10/20 handoff 有 raw 936/38,231 记录,但未发现旧逐键 manifest。需补 3648 来源链后再更新分母基线,不重报覆盖率。 +- 中公本地原件已入库:2024(210 文件/13,178 行,7 行身份不完整、6,418 个字面零值排除、1 个负值原样保留)新增 72,608 条 source-observation fact、evidence 和 source ledger,0 same/0 conflict;2023(71 文件/3,133 行,672 个字面零值排除)新增 18,126 条三类记录,0 same/0 conflict。合计新增 90,734 个第三方来源观察。2024 stage SHA `ab6ad6909e4fd05573aaa82d4d66bf5d5356cd5f505362a808b60356aae93fb6`,2023 stage SHA `44e14ba728e817cbbeae10ce1a827d181d6b64ff6a033cb4dc85567a08293904`;两批 writer receipt 在 `审计报告/local_ingest_20261031/zhonggong_api/writer_receipts/`,适配器为 `审计报告/local_ingest_20261031/ingest_zhonggong_api_20261031.py`。旧表 `zgc_major_lines` 与原件值精确相等,缺口归为统一事实层整合缺失;这些仍是第三方来源观察,不代表官方产品值。负值 `recruit_count=-8` 已原样留存并在 evidence metadata 标记,不应当作有效招生数;7 条身份不完整行及其 40 个非零指标未入库。 +- 中公观察入库后,专业缺口清单仍为 54,172 行/15,604 个唯一键,学校缺口清单仍为 5,250 行;事实层 CI、数据质量、全表扫描和四维审计均已退出码 0。Koolearn 11,177 行语义映射仍需确定已登记的 sidecar 或受控 schema 方案。 +- 原件、stage、报告和日志放在 `审计报告`;不把业务数据批次放入 `运行暂存`。规范 writer 只更新项目已有的共享 reservation/artifact registry 控制文件。 +- 第三方发现的高价值线索:对外经贸 2017–2026 官方统计列表、华南理工 2025 官方统计页 + 聚创专业 PDF、易考研目录索引、咕咕 2026 目录 API 文档、中国考研网 2026/2027 学费文章。均尚未下载/散列/解析/入库;不能把来源 locator 当覆盖完成。具体样本及边界写在 `审计报告/local_ingest_20261031/full_table_gap_reconciliation_20261031.md`。 +- 详细口径和计数见 `审计报告/local_ingest_20261031/full_table_gap_reconciliation_20261031.md`;不覆盖 10 月 21 日历史全表报告。 +- 2026 本地官方招生目录 PDF 已复核官网原件并入库:北体 26 个专业代码逐码闭合、27 个专业×学习方式计划行;广艺 11 个代码逐码闭合、78 个方向行。Stage SHA `923aa5607dffe9d24c6a200d173632299c70c270411906b6f66de0223f85dce3`;新增 373 facts、373 evidence、373 ledger,same=0/conflict=0,writer `PASS`,状态均为 `source_observation`。字段与来源 hash 见 `审计报告/local_ingest_20261031/official_catalog_pdfs/official_catalog_pdfs_ingestion_20261031.md`。 +- 广艺 78 个官方方向与现有 `pd_dir_detail` 扁平方向文本精确重合 73/75 个;5 个官方方向未进入现有明细,2 个旧方向不在 2026 PDF。已确认是采集/整合差异,不是源侧无数据;不能将 2026 北体拟定计划或广艺目录行直接改成产品事实。 +- PDF 入库后四项写后审计均完成:CI 硬性项 PASS,数据质量 222 字段剖面/30 项,全表 208/206 对象/非空表、3,053 字段剖面、249 提示,四维 P0=1/P1=1/P2=2。当前专业缺口仍 54,172 行(2026=33,699、2027=20,473),院校缺口 5,250 行;本批未改变产品层分母。 +- 本批 source PDF、stage、receipt、报告、日志全部在 `审计报告`,未在 `运行暂存` 放入业务数据。Management closeout 因历史 `chinakaoyan_2026_residual_pdf_text_20261017/residual_batch_input_selection.json` 缺失而 `PENDING_METADATA_CLOSEOUT`;生产提交保留,禁止重提 facts。 +- 2026-11-01 续记:全表审计在 2026-10-31 23:59 完成,扫描 210 张表、3,116 个字段剖面、249 条提示(P4=248、P5=1);日志副本 `审计报告/local_ingest_20261031/logs/audit_all_tables_full_scan_20261031.log`,SHA-256=`3beccd392f1e885bc6049a7dc059fed986d6068ce819f39da9657026479c5e78c`。当前逐项缺口仍为专业 54,172 行/15,604 键、学校 5,250 行;CSV 时间戳 23:21,之后没有生产库写入。 +- 高顿 2025/2026 本地 8 篇 HTML、838 行,预检形成 2,924 条来源观察候选(新 2,924、同值 0、冲突 0),stage 7,500,980 B,SHA-256=`99564f348d2b1217ebe90555a8885e570bfad6e7c1a83835187a40ded062baa6`。两次提交均在生产事务前被门禁拒绝:先缺 artifact claim,修正后当时 D 盘可用空间 11.08 GiB、writer 最低 12 GiB;最新全表审计后当前余量约 8.7 GiB。未写入生产库。脚本 `审计报告/local_ingest_20261031/ingest_gaodun_observations_20261031.py` 已增加数据库指纹、artifact 登记和 stage 生成前磁盘门槛;AST 解析 PASS。stage、原 HTML 和预检均在 `审计报告`。 +- 本地高优先级待入库候选:郑州大学 2026 官方复试线 372 行,其中 368 行有完整五科线,共 1,840 个唯一新字段键(同值/冲突/碰撞均 0);上海海关学院官方图像 7 行、21 个新阈值字段键,须保留“单科满分=100/>100”口径。两项已做只读精确键探测,尚未建 stage 或入库。 +- 南开合并官方 PDF(42 页)覆盖 2026/2025:2026 220 个方向行、2025 228 个方向行;旧解析把跨年行全标为 2025,SQLite 旧表 595 行也全标 2025。按页码,2026 有 52 条错年挂载值和 168 条未入旧表,2025 有 11/53 行已存在且其余 217 行未见;需从原 PDF 重解析并在正确年份留来源观察,不能沿用旧 CSV。原件目前位于既有 `运行暂存/baolubi_2023_2025/raw/`,未复制或改写。 +- 浙江师大 2025 官方 PDF 123 行/341 个非空候选字段,精确 business-key 去重待完成;其 43 个粗粒度录取值差异是冲突候选,不可覆盖。江苏大学 2025 的 708 个字段值已由历史批次 `ujs_2025_4f91da6c2643667a` 完整入库,不重提。2027 学费/学制本地官方原件未找到,这只表示本地留存缺失;易考研 939 条目录记录在本地目录键缺口中新增 0。 +- 空间约束:`审计报告/global_writer_stages` 现占约 1.455 GiB;其中 325.5 MB 的 Koolearn oversize-failed stage 未查明是否完全冗余,未动。旧整库快照 `prewrite_snapshot/zexiao_2027_prewrite_20261031.db`(14,551,638,016 B)和较新快照均保留;较旧快照删除授权待用户答复。空间低于 12 GiB 时不启动 writer、不复制原件、不生成新 stage。 diff --git a/docs/agent_handoffs/20261031_研招网tjzc调剂公告10校抽样.md b/docs/agent_handoffs/20261031_研招网tjzc调剂公告10校抽样.md new file mode 100644 index 000000000..1302522ab --- /dev/null +++ b/docs/agent_handoffs/20261031_研招网tjzc调剂公告10校抽样.md @@ -0,0 +1,30 @@ +# 2026-10-31 研招网 tjzc 调剂公告:10 校抽样验证(批量可行性) + +## 目标 + +验证 `yz.chsi.com.cn/sch/tjzc--method-listPub` 入口能否批量发现 2025/2026 官方调剂公告,并从正文/外链取到逐专业缺额;只读、不写库、不改 tracked 脚本、不碰调剂服务系统与登录。 + +## 已完成 + +1. **院校全集**:院校库 `sch/search.do?start=0..920`(步长 20、47 页)→ 936 个招生单位(985=39、211=108),**全部带 tjzc 栏目**,各校 `categoryId` 已提取;校名与库内 `ggyx_dim_school` 匹配 917/936(97.9%)。 +2. **10 校抽样**(北大、兰大、广西大、内蒙大、南信大、杭电、上海师大、温医大、江苏大、中国电科研究生院):schoolInfo 校验 categoryId 一致;列表共 **36 条**公告(2026=10、2025=9、2024=6、2023=6、2022=5),**2026 覆盖 10/10,2025 覆盖 8/10**;列表无分页、每校每年约 1 篇总办法。 +3. **正文 18 篇**(每校 2026+2025):**0 篇含表格、0 篇含逐专业缺额**;8 篇含文本 URL,其中 5 篇(27.8%)指向院校官网内容页(内蒙大 2、江苏大 1、广西大 1、上海师大 1)。 +4. **外链跟随 5 条**:内蒙大 2026「拟调剂专业说明」→ 官网 → **PDF 附件**,含 10 页表格 42 行/36 专业/合计 1,075 人,字段:序号·计划类型·学院代码·学院名称·专业代码·专业名称·学习方式·**拟调剂人数**·调剂要求。两条 2025 外链(1987.htm、1978.htm)**已 404**。 +5. **库内对比**:内蒙大 2026 PDF 36 码中库内仅 6 码 → **净新增 30 码 / 35 行**,且库内 `adjust_notice_majors` 无「拟调剂人数」字段(先例仅 `official_adjust_quota_2024`,1 校 13 行)。库内 2026=5,182 篇/822 校,2025=2,722 篇/696 校;936 校中 2026 零覆盖 130 校、2025 零覆盖 279 校。 + +## 结论 + +- 公告发现层:**可用但增量小**(每校每年 1 篇,库内已覆盖 822/696 校),仅补零覆盖校 80–190 篇/年。 +- 逐专业缺额:**只在官网 PDF 里**,约 10% 校挂此类附件;外链 1 年后 404,**必须当季(3–4 月)采集**。 +- 请求预算:发现层 936×2 + 正文 ~900 + PDF ~200 ≈ 2,800 次;需会话 cookie(首页种 JSESSIONID,无需登录)。 +- 结论:**有条件值得**——只做「tjzc 公告 → 官网 → PDF 缺额清单」这条链,字段对齐 `official_adjust_quota_2024`。 + +## 证据 + +`运行暂存/agent_probe_20261031/tjzc_2025_2026/`:`summary.json`、`notices_urls.csv`(36 条 URL)、`schools_chsi.json`(936 校)、`views.json`/`views_parsed.json`(18 篇正文)、`ext_views.json`、`ext_imu26_tj.pdf` + `imu26_tj_rows.json`(缺额表样例)、`db_compare.json`、`html/`(列表/正文/院校库原页)、`step*.py`。总请求约 169 次、限速 0.5 s、主库只读。 + +## 未完成 / 下一步 + +- 未逐校验证 PDF 附件比例(仅 1/10 校样本,90–180 校为外推区间)。 +- 未测 2024 及更早外链存活率;未测附件为扫描件(无文本层)的比例。 +- 若立项:先做 30 校当季试采,统计 PDF 命中率与字段可解析率,再决定全量。 diff --git a/docs/agent_handoffs/20261031_第三批来源勘察_高顿小木虫考研村tjzc.md b/docs/agent_handoffs/20261031_第三批来源勘察_高顿小木虫考研村tjzc.md new file mode 100644 index 000000000..0320d22c7 --- /dev/null +++ b/docs/agent_handoffs/20261031_第三批来源勘察_高顿小木虫考研村tjzc.md @@ -0,0 +1,43 @@ +# 2026-10-31 第三批来源勘察(高顿 / 小木虫 / 考研村 / 研招网 tjzc / 自选) + +## 目标 + +对 5 组候选做只读四判据勘察,判断能否批量取数、能补什么字段、估计净新增;不写库、不改 tracked 脚本。 + +## 结论 + +| 源 | 结论 | 能补字段 / 粒度 | 估计净新增 | +|---|---|---|---| +| 高顿(`www.kyzs.com`,即 kaoyan.gaodun.com 首页外链的考研资讯站) | **usable** | 静态 HTML 表格,免登录无 WAF。两类:①2025「报录比公布」系列:学院码/院名、专业码、专业名、学位类型、学习形式、**报名人数/达国家线人数/复试线/推免人数/士兵计划/录取人数**(南邮 80 行、江苏大学 197 行、上海大学 124 行、华东师大 148 行、首经贸 47 行);②2026 复试线:**逐专业单科线(政治/外语/业务课一二)+ 总分**(北交大 103 行、北工大 83 行) | 约 1,000–1,500 行(2025 报考录取 + 2026 单科线) | +| 小木虫 `muchong.com` | **usable_offtopic** | 板块匿名可读(GBK),fid=430「导师招生」下 typeid-2304「硕士招生」;帖子为课题组招生广告,只有校名/学院/方向/名额的文字描述,无专业码、无结构化缺额;当前以博士招生为主 | 0 行结构化 | +| 考研村 `kaoyancun.com` | **dead** | 301 → `www.xyflash.cn/wonda/`(「小程序运营后台」),域名已易主;https 证书主体不匹配 | 0 | +| 研招网 tjzc 调剂公告 | **usable,但只是公告发现器** | `schId-<6位> + categoryId-<每校不同>` 可枚举;列表含 2025/2026 标题+日期;正文为院校自填摘要,多为「办法条款」或「详见××研招网」+ 外链,抽样 5 校 0 个六位专业码、0 张缺额表 | 约 2,000–3,000 条公告 URL(非数值行) | +| 自选 1:`www.kaoyan.com`(学而思考研帮) | **usable_offtopic** | 资讯站,复试线汇总正文是院校官网链接清单(91 校 0 表格);新东方系,与库内 `neworiental_*` 同源 | 0 | +| 自选 2:`kaoyan.100xuexi.com`(圣才) | **usable_offtopic** | 电子书/题库电商,无院校数值 | 0 | +| 附带:`kaoyanmiji.com` | **dead** | 域名变个人博客「生活记事录」 | 0 | +| 附带:`yantubao.com` | **dead** | DNS 不解析 | 0 | +| 附带:`kaoyan.cn`(掌上考研) | **spa_shell** | 已知 SPA 空壳(此前已判定) | 0 | + +## 最值得入库 + +**高顿 kyzs 的「2025 报录比公布」系列**。理由:库内官方报考录取仅 `official_baolubi_2022`(973 行 / 8 校),2023–2025 无同口径官方值;高顿这批文章把院校官方「报名-达线-录取-推免-士兵计划-复试线」整表直出,字段与既有表可对齐,粒度到学院+专业+学习方式。 + +- 发现方式:栏目首页 `/blb/` 只展示 80 条且 `?page=` 被静默忽略(返回同字节);按 article id 邻近扫描可命中(29395–29410 与 29770–29790 实测;29402–29406 即 2025 报录系列)。 +- 抽取要点:正文单个 `