Commit Graph
37 Commits
Author SHA1 Message Date
Your Name db8b067a91 归因表以10-31重跑版为准并清掉根目录散落副本
根目录与 审计报告/ 各有一份 0856官方层_缺口归因.csv,去掉统计时间列后
实质差异 0 行,只差时间戳。留正式位置那份,删根目录副本。
2026-11-02 15:31:44 +08:00
Your Name e0fb8bda38 占比表与缺口清单按学院写法归一,0856覆盖41键升到51键
公示侧学院有三种写法:目录原名、带前导院码(290 材料科学与工程学院)、
只给院码(001)。原先只按原名比,后两种被误判成该学院没公示。
归一后 0856 推免合计930人里学院组可核881(95%)、仅同校同码49,
占比表新增可核列与可核方式,缺口清单覆盖 41→51 键、转缺 0。
2026-11-02 15:26:27 +08:00
Your Name 0dc94d64ec 0856缺口清单收敛到专业级并按四种名额情形定口径
原清单照抄 chsi_2027_dir 的方向展开行,1880 行只有 983 个唯一键,
335 组同键重复;名额还留着按方向行相加的虚高(69613 vs 35368,虚高 96.8%)。
改为专业/一级学科/院系所级取MAX、方向级各向不同取SUM、方向级同值取MAX并标疑、
同组混用两级取较大者不相加,另标 8 个同方向码重复行键。
推免判定改用三键后撤掉13行粗粒度虚报、补6行,0856三键覆盖41/983。
同时撤销我自己误加的156行 source_url_missing 标记(那些行其实已有URL)。
2026-11-02 15:17:02 +08:00
Your Name 3cdf484621 普查推免重复组并按主键粒度自纠判据
按 (校,年,码,名) 分组的初版判据报出 12 组虚增 67 人,全在东南大学;
回查来源是普通推免与强基计划两份不同公示,plan_type 本就在主键里,
相加正确。改用与 PRIMARY KEY 同粒度的键重算后重复组为 0,
确认这批 451 行写入没有造成同键双来源,表不需并档。
2026-11-02 14:51:34 +08:00
Your Name bcd0f3c1c1 纠正0856定向批脏数据:撤152行并修连写
复核自己刚入库的行,发现专业名等于专业代码(江西师范58行、浙江工业3行,
占该批PDF 40%),还混进「页,共」「式」这类页眉碎片——解析器把代码列
和页眉当成了名称列。这批改判据的错不该由交付表承担,152行整批撤出,
撤前已备份并回读校验(152行,SHA e10bd009)。页面那93行可疑为0,保留,
另修8处「0806冶金工程」式连写,4位学科码不塞进6位专业码列。

撤后空basis=0、名等于码=0、缺来源=0,余1529行18校。
另纠正一条判断失误:两次 exit 124 是我把命令超时设得比实际执行短,
不是数据库写锁——活儿其实跑完了。
2026-11-02 13:52:18 +08:00
Your Name f7b95e5e7f 补齐0856定向批的抓取与页面表格解析链
三个判据太窄的地方一起放开:附件不止 PDF(还有 xls/docx/zip),
表格可能直接排在页面 HTML 里,个别院校站证书链不全要能降级重试并留痕。
第一版因此把 41 所报成「页面无 PDF」,那是判据问题不是学校没数据。

另修文件名 bug:用 [^0-9A-Za-z] 清洗中文校名会把名字剥成空串,
落盘全成 _0_xxx.pdf,回查时认不出学校;改按 Windows 非法字符过滤并保留中文。
2026-11-02 02:08:13 +08:00
Your Name b0c289b797 按规范重算0856统考名额,纠正只取单院系的错值
上一版既没做组内MAX也没跨院系求和,西北工业085601算出统考16人(实际
4个学院组合计181)、山大085600算出1人(实际5组109)。错值比缺值更糟。

按规范§1.2a重写:先按(校,专业码,学院)成组,组内「专业:N」取MAX、
「研究方向:N」取SUM,再跨学院组求和。22键11校,
并保留学院组数与N口径两列供追溯。

住宿两源合流完成:agent那507行按公告正文重判归属后,
web_accommodation_policy 从92校扩到321校(372行,高置信295);
13行agent原值与正文重判不一致,标 source_values_disagree 不静默覆盖。
2026-11-01 02:59:15 +08:00
Your Name 3dd3a43209 算出0856统考名额与推免占比并登记enroll_num口径陷阱
按(校,专业码)去重、专业级N取组内MAX后,17个0856专业点可同时拿到
统考名额与已接收推免数:中山大学材料工程推免占66%、西北工业58%、
山东大学60%、重庆大学39%、东华大学24%。这是择校真正要看的东西——
推免占比高意味着统考名额被压缩。

登记两个口径陷阱:CHSI 2027 目录里标注全是「不含推免」,
按「含推免」去查会命中「不含推免」的子串而得出假的双口径结论;
enroll_num 与括号内数值在12000行样本里有21.1%不相等、2.6%反而更小,
算统考名额只能取 enroll_str 的 N,不能直接用 enroll_num。

另有280个键有推免数却无专业级N(多为方向级前缀或目录未标),
是下一步要补的对齐缺口。
2026-11-01 02:47:04 +08:00
Your Name 3f4766d232 记录第三轮:库内语料再挖掘与两次自我纠错
住宿判据四轮打磨(窗口→逐句→就近归属→费用自理非无宿舍),
新表 web_accommodation_policy 135行92校;
学费查明官方CHSI已有80565行年费值,回填先犯跨年份错配再犯粒度错标,
两次都已撤回/重做,终态核实非2027残留为0、专业级由虚标2470修正为614。
web_tuition_rules 3545行629校已登记粒度与交叉口径语义。
2026-11-01 02:35:07 +08:00
Your Name 4c96bc27f9 归档633校简章学费学制产出并定下使用限制
agent交的这份3568行/633校,全部带 notice_key 证据、99.4%带URL,
与官方CHSI学费可比379例中317相等(83.6%),一致度高于启航(76.2%)。

但三条限制必须写死:
粒度上只有614行定位到专业码,1696行是校级标准、1258行是院系/学位级,
校级值当专业值用会误导;同校同年给出多个学费值的有393组;
住宿只有「提供/不安排」两值且没按学习方式拆,
比我自抽那135行粒度粗——正是我第一轮踩过的坑,合并前要回正文重判归属。
2026-11-01 02:25:52 +08:00
Your Name a319e90565 补齐页面线表的来源URL并留缺项清单
广外那95行是从agent落盘的HTML抽的,采集清单没记地址。
采集索引查不到时退回按校名+标题在 notices_all 回查,命中同篇公告
(2026-03-13 关于公布我校2026年硕士研究生招生复试分数线和复试名单的通知)后回填。
回查脚本会把补不上的文件名如实列出来而不是静默留空,
交付表里每个数字都要能当场回溯到源文件。
2026-11-01 01:57:15 +08:00
Your Name 7a26120de4 为0856缺口校定位库内已登记的推免公告并标住宿冲突
347所缺2027推免接收数的0856院校里,77所已有155条推免公告登记可直接取附件,
其余270所库内完全没有登记、只能从外部入口补——定向清单已落盘。

住宿表14组同校同学习方式给出互斥结论(如北大「未限定」同时有提供与不提供),
标 scope_or_year_conflict 交人工取舍,不进交付列;
132个(校,范围,取值)组合入库零损失,高置信行已单独可筛。
2026-11-01 01:48:43 +08:00
Your Name de4d0c2e1f 离线重扫库内公告正文抽出住宿政策并修掉回填年份漏洞
1952条带正文的2027公告重扫出住宿194条/92校、学费81条、学制168条。
住宿是库里原本没有的字段,且必须按学习方式分列:简章里同一句常写
「全日制由学校安排、非全日制不解决住宿」,第一版按固定窗口给全校打标签
会把全日制考生误导。逐句判定后又修了三类误配——
「全日制安排住宿,其他类型不安排」被判成全日制不提供、
「住宿费用自理」被当成没宿舍、以及复试自理住宿与本科离校宿舍等无关句。

学费回填踩实了一个漏洞:CHSI只有2027目录,join 却没限 year,
把2027学费填进约4.3万行2023/2024记录。非2027部分正在撤回,
脚本已加 p.year='2027' 约束。
2026-11-01 01:47:15 +08:00
Your Name 16f8a60bb6 查明学费不缺且给出0856定向缺口清单
官方目录 chsi_2027_dir.tuition_fee 已覆盖80565行543校,口径是元/年:
学硕3学制均值8061元(若为全程应≈24000),与启航按校+专业码对齐1325例
1009例全等。原计划去外部站采学费是方向错——在职研源只覆盖非全,
而全日制年费库里早已有官方值。只把5539个NULL行填上,已有值不动,
差异316例里仅26例是年费与全程混用,其余按口径冲突留证。

0856定向清单:362所开0856的院校里347所缺2027推免接收数、
只有18所有2027自命题大纲、2所有逐专业线,这三项才是该优先补的。
2026-11-01 01:39:36 +08:00
Your Name d24325ba06 用词坐标重建无框线名单表格并分列两种线口径
find_tables 对靠排版对齐、没有画线的表格会抽出整排空格,辽宁大学那份
754行只归出92人。改按 words 的 y 中点聚类成行、x 排序成列后,
辽宁大学 92→414人(29→112键)、河南中医 128→1392行、曲阜师范 21→40键。

南京医科大学那份重建后暴露出真实结构:它是逐专业「一志愿复试最低分」表
(76行),此前被 find_tables 的残缺输出误导成12个人数键。实际最低分与
院校公示的门槛线不是一回事,official_score_lines 新增 line_kind 分列,
下游不能再把两种线混成同一个字段。
2026-11-01 01:32:27 +08:00
Your Name 59caccebb1 批量落地第四批名单来源并固化两路勘察结论
按agent清单取到17份名单PDF(仅4.1MB),解析出9校199个逐专业键、1872人,
其中29键是2027推免拟录取;另得湘潭大学15个逐学科复试线。

入库后核发现两处必须修:fetch_manifest 的列名是 pdf_url/page_url,
解析器只认 url 导致199行没有来源可回溯,已回填;辽宁大学那份
find_tables 抽出的是20列空格(文字在合并单元格里),只覆盖12%行,
这类统一标 partial_extract 并在 note 记真实覆盖率,人数当下界而非全校合计。

学费勘察结论值得先记下来:学费空值2398行集中在2023-2026的全日制,
而在职研两源只有非全,补不到缺口处;能补全日制的是院校自站2027简章。
2026-11-01 01:26:02 +08:00
Your Name d88a9781e2 记录专业线与官方复试线口径差异
两校15例逐专业比对:0 例一致,平台值一律偏高 5~53 分。
官方表是进入复试的基本要求(湖北师范整表备注A类国家线),
平台更像实际录取下限。分列不合并,并登记 fact_score.score 的真实含义,
防止交付层把平台值当院校复试线用。
2026-11-01 01:15:11 +08:00
Your Name cc01f36854 分离复试分数线载体并新增页面表格来源
official_score_lines 收两种载体:湖北师范与国科大的PDF线表56键,
广东外语外贸大学页面内表格97键(标题自称「我校」,校名只能从文件名取)。
两档单科线要先判「满分>100」再判「=100」,否则lover被l100抢走。

四川社科院那份流式排版放弃:专业名与考生姓名混在同一阅读流里,
强行归属会造出假记录,原件保留不删。
2026-11-01 01:12:28 +08:00
Your Name d307602502 记录名单删除已执行与全表审计通过 2026-11-01 00:56:49 +08:00
Your Name 08df3c705d 补回因manifest缺扩展名而丢掉的4所学校名单
official_roster_major_stat 从216键涨到234键、14校4287人:北京工商大学286人、
南京体育学院225人、中国兵器科学研究院14人、中国科学院大学5人。根因是
download_manifest 有5行的 local_path 没写 .pdf 扩展名,按原名建索引就静默漏配。
2026-11-01 00:53:20 +08:00
Your Name 6553ca256d 记录推免原件删除受阻状态 2026-11-01 00:48:33 +08:00
Your Name 841f7bc35d 入库2025/2026官方名单逐专业人数与成绩分布
official_roster_major_stat 216行、10校、3772人,列结构与平台表
src_roster_major_stat 同构但分表存放,便于对账而不混口径。

主键含原件名:北师大同一专业跨学院有多份名单,合并会让中位数失真,
首轮主键不含原件时丢掉3组83人,改回后拒绝为0。与平台14个可比键7个全等,
其余差异是平台跨校区合并或只取一份原件的口径差,保留两侧原值。

推送仍未成功:本机凭据管理器没有该主机的凭据条目,非交互三种姿势都被拒,
所以按「入库且上传Git后才删」的条件,本轮没有删除任何原件。
2026-11-01 00:43:24 +08:00
Your Name 1b8a134337 修正推免来源清单并固化删除回执 2026-11-01 00:41:56 +08:00
Your Name 7d596c867e 沉淀2027推免名单离线解析与原件删除边界
磁盘告急且采集额度中断,改为只吃已落盘原件:15份官方推免公示PDF与
合肥工业1679行名单解析成 y2027_tuimian_2027(11校1436行),华南理工
统考可用计划单独入 y2027_plan_2027,避免与推免接收人数混口径。

判据修正三处会造出假数的地方:汇总/合计行先排除再分组、研究生支教团等
专项计划行不计入接收人数、PDF抽出的Kangxi兼容部首折回正规汉字(否则
跨源关联键静默漏配)。东南大学同批既有官方计数表又有逐人名单,名单分组
多278人判为口径差异,只入官方计数、182行推导值留作对账不入库。

校验器先被故意改坏验证过一轮才用于正式入库;备份脚本取错 description
下标导致备份写成空值,已重做并回读核验。
2026-11-01 00:25:29 +08:00
Your Name 82b461b127 记录本地临时目录清理结果 2026-10-30 22:00:25 +08:00
Your Name 92ba88dc9b 记录全量资料上传与清理边界 2026-10-30 21:44:48 +08:00
Your Name c53827c718 补充独立项目资料与视觉素材 2026-10-30 21:37:19 +08:00
Your Name d9208381b9 备份运行报告与数据证据 2026-10-30 21:23:39 +08:00
Your Name 4589b67115 备份旧暂存资料及逐文件清单 2026-10-30 20:45:40 +08:00
Your Name 964e48acca 补充历史产物及整理资料 2026-10-30 20:07:59 +08:00
Your Name 58dfc8189f 补充项目原始来源资料 2026-10-30 20:04:03 +08:00
Your Name 19232091cd 补充历史 UI 设计成品 2026-10-30 19:59:30 +08:00
Your Name e90eda0c32 补充采集审计脚本及工作记录 2026-10-30 19:56:03 +08:00
Your Name 95fb216716 归档项目审计报告与证据清单 2026-10-30 19:52:04 +08:00
Your Name 1fb8c5fd47 补充项目接手与数据导出资料 2026-10-30 19:27:09 +08:00
Your Name 12c7daf083 记录私有仓库上传结果 2026-10-30 19:04:27 +08:00
Your Name 50c8b4162f 导入择校项目与数据库快照 2026-10-30 18:26:59 +08:00