Your Name
|
bcd0f3c1c1
|
纠正0856定向批脏数据:撤152行并修连写
复核自己刚入库的行,发现专业名等于专业代码(江西师范58行、浙江工业3行,
占该批PDF 40%),还混进「页,共」「式」这类页眉碎片——解析器把代码列
和页眉当成了名称列。这批改判据的错不该由交付表承担,152行整批撤出,
撤前已备份并回读校验(152行,SHA e10bd009)。页面那93行可疑为0,保留,
另修8处「0806冶金工程」式连写,4位学科码不塞进6位专业码列。
撤后空basis=0、名等于码=0、缺来源=0,余1529行18校。
另纠正一条判断失误:两次 exit 124 是我把命令超时设得比实际执行短,
不是数据库写锁——活儿其实跑完了。
|
2026-11-02 13:52:18 +08:00 |
|
Your Name
|
f7b95e5e7f
|
补齐0856定向批的抓取与页面表格解析链
三个判据太窄的地方一起放开:附件不止 PDF(还有 xls/docx/zip),
表格可能直接排在页面 HTML 里,个别院校站证书链不全要能降级重试并留痕。
第一版因此把 41 所报成「页面无 PDF」,那是判据问题不是学校没数据。
另修文件名 bug:用 [^0-9A-Za-z] 清洗中文校名会把名字剥成空串,
落盘全成 _0_xxx.pdf,回查时认不出学校;改按 Windows 非法字符过滤并保留中文。
|
2026-11-02 02:08:13 +08:00 |
|
Your Name
|
b0c289b797
|
按规范重算0856统考名额,纠正只取单院系的错值
上一版既没做组内MAX也没跨院系求和,西北工业085601算出统考16人(实际
4个学院组合计181)、山大085600算出1人(实际5组109)。错值比缺值更糟。
按规范§1.2a重写:先按(校,专业码,学院)成组,组内「专业:N」取MAX、
「研究方向:N」取SUM,再跨学院组求和。22键11校,
并保留学院组数与N口径两列供追溯。
住宿两源合流完成:agent那507行按公告正文重判归属后,
web_accommodation_policy 从92校扩到321校(372行,高置信295);
13行agent原值与正文重判不一致,标 source_values_disagree 不静默覆盖。
|
2026-11-01 02:59:15 +08:00 |
|
Your Name
|
3dd3a43209
|
算出0856统考名额与推免占比并登记enroll_num口径陷阱
按(校,专业码)去重、专业级N取组内MAX后,17个0856专业点可同时拿到
统考名额与已接收推免数:中山大学材料工程推免占66%、西北工业58%、
山东大学60%、重庆大学39%、东华大学24%。这是择校真正要看的东西——
推免占比高意味着统考名额被压缩。
登记两个口径陷阱:CHSI 2027 目录里标注全是「不含推免」,
按「含推免」去查会命中「不含推免」的子串而得出假的双口径结论;
enroll_num 与括号内数值在12000行样本里有21.1%不相等、2.6%反而更小,
算统考名额只能取 enroll_str 的 N,不能直接用 enroll_num。
另有280个键有推免数却无专业级N(多为方向级前缀或目录未标),
是下一步要补的对齐缺口。
|
2026-11-01 02:47:04 +08:00 |
|
Your Name
|
3f4766d232
|
记录第三轮:库内语料再挖掘与两次自我纠错
住宿判据四轮打磨(窗口→逐句→就近归属→费用自理非无宿舍),
新表 web_accommodation_policy 135行92校;
学费查明官方CHSI已有80565行年费值,回填先犯跨年份错配再犯粒度错标,
两次都已撤回/重做,终态核实非2027残留为0、专业级由虚标2470修正为614。
web_tuition_rules 3545行629校已登记粒度与交叉口径语义。
|
2026-11-01 02:35:07 +08:00 |
|
Your Name
|
4c96bc27f9
|
归档633校简章学费学制产出并定下使用限制
agent交的这份3568行/633校,全部带 notice_key 证据、99.4%带URL,
与官方CHSI学费可比379例中317相等(83.6%),一致度高于启航(76.2%)。
但三条限制必须写死:
粒度上只有614行定位到专业码,1696行是校级标准、1258行是院系/学位级,
校级值当专业值用会误导;同校同年给出多个学费值的有393组;
住宿只有「提供/不安排」两值且没按学习方式拆,
比我自抽那135行粒度粗——正是我第一轮踩过的坑,合并前要回正文重判归属。
|
2026-11-01 02:25:52 +08:00 |
|
Your Name
|
a319e90565
|
补齐页面线表的来源URL并留缺项清单
广外那95行是从agent落盘的HTML抽的,采集清单没记地址。
采集索引查不到时退回按校名+标题在 notices_all 回查,命中同篇公告
(2026-03-13 关于公布我校2026年硕士研究生招生复试分数线和复试名单的通知)后回填。
回查脚本会把补不上的文件名如实列出来而不是静默留空,
交付表里每个数字都要能当场回溯到源文件。
|
2026-11-01 01:57:15 +08:00 |
|
Your Name
|
7a26120de4
|
为0856缺口校定位库内已登记的推免公告并标住宿冲突
347所缺2027推免接收数的0856院校里,77所已有155条推免公告登记可直接取附件,
其余270所库内完全没有登记、只能从外部入口补——定向清单已落盘。
住宿表14组同校同学习方式给出互斥结论(如北大「未限定」同时有提供与不提供),
标 scope_or_year_conflict 交人工取舍,不进交付列;
132个(校,范围,取值)组合入库零损失,高置信行已单独可筛。
|
2026-11-01 01:48:43 +08:00 |
|
Your Name
|
de4d0c2e1f
|
离线重扫库内公告正文抽出住宿政策并修掉回填年份漏洞
1952条带正文的2027公告重扫出住宿194条/92校、学费81条、学制168条。
住宿是库里原本没有的字段,且必须按学习方式分列:简章里同一句常写
「全日制由学校安排、非全日制不解决住宿」,第一版按固定窗口给全校打标签
会把全日制考生误导。逐句判定后又修了三类误配——
「全日制安排住宿,其他类型不安排」被判成全日制不提供、
「住宿费用自理」被当成没宿舍、以及复试自理住宿与本科离校宿舍等无关句。
学费回填踩实了一个漏洞:CHSI只有2027目录,join 却没限 year,
把2027学费填进约4.3万行2023/2024记录。非2027部分正在撤回,
脚本已加 p.year='2027' 约束。
|
2026-11-01 01:47:15 +08:00 |
|
Your Name
|
16f8a60bb6
|
查明学费不缺且给出0856定向缺口清单
官方目录 chsi_2027_dir.tuition_fee 已覆盖80565行543校,口径是元/年:
学硕3学制均值8061元(若为全程应≈24000),与启航按校+专业码对齐1325例
1009例全等。原计划去外部站采学费是方向错——在职研源只覆盖非全,
而全日制年费库里早已有官方值。只把5539个NULL行填上,已有值不动,
差异316例里仅26例是年费与全程混用,其余按口径冲突留证。
0856定向清单:362所开0856的院校里347所缺2027推免接收数、
只有18所有2027自命题大纲、2所有逐专业线,这三项才是该优先补的。
|
2026-11-01 01:39:36 +08:00 |
|
Your Name
|
d24325ba06
|
用词坐标重建无框线名单表格并分列两种线口径
find_tables 对靠排版对齐、没有画线的表格会抽出整排空格,辽宁大学那份
754行只归出92人。改按 words 的 y 中点聚类成行、x 排序成列后,
辽宁大学 92→414人(29→112键)、河南中医 128→1392行、曲阜师范 21→40键。
南京医科大学那份重建后暴露出真实结构:它是逐专业「一志愿复试最低分」表
(76行),此前被 find_tables 的残缺输出误导成12个人数键。实际最低分与
院校公示的门槛线不是一回事,official_score_lines 新增 line_kind 分列,
下游不能再把两种线混成同一个字段。
|
2026-11-01 01:32:27 +08:00 |
|
Your Name
|
59caccebb1
|
批量落地第四批名单来源并固化两路勘察结论
按agent清单取到17份名单PDF(仅4.1MB),解析出9校199个逐专业键、1872人,
其中29键是2027推免拟录取;另得湘潭大学15个逐学科复试线。
入库后核发现两处必须修:fetch_manifest 的列名是 pdf_url/page_url,
解析器只认 url 导致199行没有来源可回溯,已回填;辽宁大学那份
find_tables 抽出的是20列空格(文字在合并单元格里),只覆盖12%行,
这类统一标 partial_extract 并在 note 记真实覆盖率,人数当下界而非全校合计。
学费勘察结论值得先记下来:学费空值2398行集中在2023-2026的全日制,
而在职研两源只有非全,补不到缺口处;能补全日制的是院校自站2027简章。
|
2026-11-01 01:26:02 +08:00 |
|
Your Name
|
d88a9781e2
|
记录专业线与官方复试线口径差异
两校15例逐专业比对:0 例一致,平台值一律偏高 5~53 分。
官方表是进入复试的基本要求(湖北师范整表备注A类国家线),
平台更像实际录取下限。分列不合并,并登记 fact_score.score 的真实含义,
防止交付层把平台值当院校复试线用。
|
2026-11-01 01:15:11 +08:00 |
|
Your Name
|
cc01f36854
|
分离复试分数线载体并新增页面表格来源
official_score_lines 收两种载体:湖北师范与国科大的PDF线表56键,
广东外语外贸大学页面内表格97键(标题自称「我校」,校名只能从文件名取)。
两档单科线要先判「满分>100」再判「=100」,否则lover被l100抢走。
四川社科院那份流式排版放弃:专业名与考生姓名混在同一阅读流里,
强行归属会造出假记录,原件保留不删。
|
2026-11-01 01:12:28 +08:00 |
|
Your Name
|
d307602502
|
记录名单删除已执行与全表审计通过
|
2026-11-01 00:56:49 +08:00 |
|
Your Name
|
08df3c705d
|
补回因manifest缺扩展名而丢掉的4所学校名单
official_roster_major_stat 从216键涨到234键、14校4287人:北京工商大学286人、
南京体育学院225人、中国兵器科学研究院14人、中国科学院大学5人。根因是
download_manifest 有5行的 local_path 没写 .pdf 扩展名,按原名建索引就静默漏配。
|
2026-11-01 00:53:20 +08:00 |
|
Your Name
|
6553ca256d
|
记录推免原件删除受阻状态
|
2026-11-01 00:48:33 +08:00 |
|
Your Name
|
841f7bc35d
|
入库2025/2026官方名单逐专业人数与成绩分布
official_roster_major_stat 216行、10校、3772人,列结构与平台表
src_roster_major_stat 同构但分表存放,便于对账而不混口径。
主键含原件名:北师大同一专业跨学院有多份名单,合并会让中位数失真,
首轮主键不含原件时丢掉3组83人,改回后拒绝为0。与平台14个可比键7个全等,
其余差异是平台跨校区合并或只取一份原件的口径差,保留两侧原值。
推送仍未成功:本机凭据管理器没有该主机的凭据条目,非交互三种姿势都被拒,
所以按「入库且上传Git后才删」的条件,本轮没有删除任何原件。
|
2026-11-01 00:43:24 +08:00 |
|
Your Name
|
1b8a134337
|
修正推免来源清单并固化删除回执
|
2026-11-01 00:41:56 +08:00 |
|
Your Name
|
7d596c867e
|
沉淀2027推免名单离线解析与原件删除边界
磁盘告急且采集额度中断,改为只吃已落盘原件:15份官方推免公示PDF与
合肥工业1679行名单解析成 y2027_tuimian_2027(11校1436行),华南理工
统考可用计划单独入 y2027_plan_2027,避免与推免接收人数混口径。
判据修正三处会造出假数的地方:汇总/合计行先排除再分组、研究生支教团等
专项计划行不计入接收人数、PDF抽出的Kangxi兼容部首折回正规汉字(否则
跨源关联键静默漏配)。东南大学同批既有官方计数表又有逐人名单,名单分组
多278人判为口径差异,只入官方计数、182行推导值留作对账不入库。
校验器先被故意改坏验证过一轮才用于正式入库;备份脚本取错 description
下标导致备份写成空值,已重做并回读核验。
|
2026-11-01 00:25:29 +08:00 |
|
Your Name
|
82b461b127
|
记录本地临时目录清理结果
|
2026-10-30 22:00:25 +08:00 |
|
Your Name
|
92ba88dc9b
|
记录全量资料上传与清理边界
|
2026-10-30 21:44:48 +08:00 |
|
Your Name
|
c53827c718
|
补充独立项目资料与视觉素材
|
2026-10-30 21:37:19 +08:00 |
|
Your Name
|
d9208381b9
|
备份运行报告与数据证据
|
2026-10-30 21:23:39 +08:00 |
|
Your Name
|
4589b67115
|
备份旧暂存资料及逐文件清单
|
2026-10-30 20:45:40 +08:00 |
|
Your Name
|
964e48acca
|
补充历史产物及整理资料
|
2026-10-30 20:07:59 +08:00 |
|
Your Name
|
58dfc8189f
|
补充项目原始来源资料
|
2026-10-30 20:04:03 +08:00 |
|
Your Name
|
19232091cd
|
补充历史 UI 设计成品
|
2026-10-30 19:59:30 +08:00 |
|
Your Name
|
e90eda0c32
|
补充采集审计脚本及工作记录
|
2026-10-30 19:56:03 +08:00 |
|
Your Name
|
95fb216716
|
归档项目审计报告与证据清单
|
2026-10-30 19:52:04 +08:00 |
|
Your Name
|
1fb8c5fd47
|
补充项目接手与数据导出资料
|
2026-10-30 19:27:09 +08:00 |
|
Your Name
|
12c7daf083
|
记录私有仓库上传结果
|
2026-10-30 19:04:27 +08:00 |
|
Your Name
|
50c8b4162f
|
导入择校项目与数据库快照
|
2026-10-30 18:26:59 +08:00 |
|