diff --git a/docs/agent_handoffs/20261101_推免名单离线解析与删除边界.md b/docs/agent_handoffs/20261101_推免名单离线解析与删除边界.md index 30fbac33..a3bae560 100644 --- a/docs/agent_handoffs/20261101_推免名单离线解析与删除边界.md +++ b/docs/agent_handoffs/20261101_推免名单离线解析与删除边界.md @@ -33,11 +33,25 @@ - 待删:`运行暂存/y2027_tuimian_round2/raw` 中 manifest `source_files_ingested` 明列的 11 份 PDF 与 `hfut_page_718c76.htm`。数据库分别含 `y2027_tuimian_2027` 1,436 行、`y2027_plan_2027` 138 行;已上传 Git 后才按 SHA-256 对照删除,详见同目录 `deletion_receipt.json`。 - 保留:`scut_bs_5698d74a.pdf`、`scut_ss_f2e9d15f.pdf`(扫描件未 OCR);`seu_ss_c31b26d0.pdf`、`seu_qj_79a99de5.pdf`(其推导值未入库)。 - 其他已入库批次须逐批确认对应数据已上传 Git 并有回执,再单独列入删除清单;本次不包含此前 A 级约 615M。 -- 暂不可删:`运行暂存/official_roster_2025_2026/raw`(106M,29 份 PDF + 47 HTML 尚未解析入库);`运行暂存/scut_bs`、`scut_ss` 两份扫描件是唯一原件且未 OCR。 -- 不动:并行会话的 `审计报告/local_ingest_20261031/prewrite_snapshot/` 28G、`_归档/_待删_20261022` 4.9G、`ggyx_chrome/` 登录态。 +- 暂不可删:`运行暂存/official_roster_2025_2026/raw` 中的扫描件与验证码墙原件(`whut_2026_nilq.pdf` 115 页无文字层,`gdufs/kmust/pumc` 三份下载端点回「请输入验证码下载附件」);其余 25 份已于同日解析入库,见下节。 + +## 追加:2025/2026 官方名单统计已入库 + +- `official_roster_major_stat` 216 行、10 校、3772 人:逐专业进复试/拟录取人数 + 政治、外语、业务课一/二、总分的最低/中位/最高。列结构与平台表 `src_roster_major_stat` 同构但分表,便于逐字段对账而不混列。 +- 主键含 `local_file`:北师大同一专业跨学院有多份名单(`045108` 学科教学(英语)在教育学部 18 人、外国语学院 82 人),合并会让中位数失真,所以按原件分列,合计需自行 SUM 人数。首轮主键不含原件时丢了 3 组共 83 人,改回来后拒绝数为 0。 +- 与平台表 14 个可比键里 7 个全等;其余差异可解释(平台把跨校区名单合并成 554 人对官方 277 人,或只取其中一份原件),属口径差异,保留两侧原值不判谁错。 +- 校验器同样先改坏验过:人数非整数/为 0/超界、min>max、单科超满分、重复键六类各报警。 +- 未入库原件去向写在 `审计报告/官方名单统计_20261101/manifest.json`:3 份验证码墙、1 份扫描件、3 份原表只有姓名与成绩无专业列。 + +## 推送受阻(删除前置未满足) + +- 本地已提交,`origin/main` 仍是 `82b461b1`,本地领先 1。 +- 三种非交互方式都试过:`GIT_TERMINAL_PROMPT=0`、`GCM_INTERACTIVE=never`、`credential.interactive=false`,分别报 `could not read Username` 与 `unable to get password from user`;`cmdkey /list` 里没有 git 凭据条目,`credential.https://git.simgreek.com.provider=generic` 指向的助手需要人输一次。 +- 因此按「入库且上传 Git 后才删」的条件,本轮**没有删除任何原件**;`运行暂存/y2027_tuimian_round2/raw` 与表格缓存 `grid_cache/`(2.5M)都还在。 +- 磁盘压力已缓解:D 盘从 8.7G 回升到 26.9G(并行会话清理了自己的写库快照),不必再为腾空间抢着删。 ## 未完成 -1. `official_roster_2025_2026` 的 2025/2026 复试与拟录取名单还没解析(表格缓存已就绪),解析前不能删原件。 -2. 两份华南理工扫描件需 OCR 才有数值。 -3. 本轮新表未接入交付层,`y2027_tuimian_major` 与新表需在交付层按 basis 分列展示。 +1. 两份华南理工扫描件与武汉理工 115 页名单需 OCR 才有数值。 +2. 本轮三张新表未接入交付层,`y2027_tuimian_major` 与新表需在交付层按 basis 分列展示。 +3. 用户完成一次带凭据的 `git push`(或把凭据存入 Windows 凭据管理器)后,再按上面的删除边界执行。 diff --git a/审计报告/官方名单统计_20261101/cand_orr.json.gz b/审计报告/官方名单统计_20261101/cand_orr.json.gz new file mode 100644 index 00000000..7b34f881 Binary files /dev/null and b/审计报告/官方名单统计_20261101/cand_orr.json.gz differ diff --git a/审计报告/官方名单统计_20261101/diag_orr.txt b/审计报告/官方名单统计_20261101/diag_orr.txt new file mode 100644 index 00000000..d8bb958a --- /dev/null +++ b/审计报告/官方名单统计_20261101/diag_orr.txt @@ -0,0 +1,29 @@ +bnu_2025_edu.pdf pages=19 有表=19 行数=360 列=12 首行: 2025年北京师范大学硕 | | | | | | | | | | | +bnu_2025_nsem.pdf pages=1 有表=1 行数=18 列=12 首行: 2025年北京师范大学硕 | | | | | | | | | | | +bnu_2025_sfll.pdf pages=6 有表=6 行数=141 列=12 首行: 2025年北京师范大学硕 | | | | | | | | | | | +bnu_2025_stat.pdf pages=11 有表=11 行数=300 列=12 首行: 2025年北京师范大学硕 | | | | | | | | | | | +bnu_2025_wl.pdf pages=1 有表=1 行数=17 列=9 首行: 考生姓名 | 考生编号 | 报考专业代码 | 报考专业名称 | 政治理论 | 外国语 | 业务课1 | 业务课2 | 备注 +bsu_2025_nilq.pdf pages=9 有表=9 行数=603 列=10 首行: 姓名 | 考生编号 | 专项计划 | 报考专业名称 | 研究方向名称 | 运动项目 | 学习方式 | 初试总分 | 复试总分 | 总成绩 +bsu_2026_nilq.pdf pages=8 有表=8 行数=619 列=10 首行: 姓名 | 考生编号 | 报考专业 | 研究方向 | 运动项目 | 学习方式 | 初试总分 | 复试总分 | 总成绩 | 备注 +btbu_2025_jj_fushi.pdf pages=7 有表=7 行数=293 列=11 首行: 序号 | 专业代码 | 专业名称 | 考生姓名 | 考生编号 | 政治理论成绩 | 外国语成绩 | 业务课一成绩 | 业务课二成绩 | 初试总分 | 备注 +ccp_2025_mpa.pdf pages=1 有表=1 行数=30 列=7 首行: 序号 | 考生编号 | 姓名 | 初试成绩 | | | 备注 +ccp_2025_xsx.pdf pages=1 有表=1 行数=10 列=10 首行: 院部 | 专业 | 考生编号 | 姓名 | 初试成绩 | | | | | 备注 +gdufs_2026_fushi.pdf pages=1 有表=1 行数=1 列=1 首行: 请输入验证码下载附件 +gxust_2025_fushi.pdf pages=16 有表=16 行数=435 列=10 首行: 考生编号 | 姓名 | 院系代码 | 专业代码 | 政治 | 外语 | 业务1 | 业务2 | 总分 | 备注 +hbnu_2025_fushi.pdf pages=24 有表=24 行数=598 列=11 首行: 2025 年湖北师范大学 | | | | | +hrb_2026_fushi.pdf pages=1 有表=1 行数=13 列=14 首行: 哈尔滨学院2026年硕士 | | | | | | | | | | | | | +jhun_2025_fushi.pdf pages=1 有表=1 行数=11 列=10 首行: 序号 | 姓名 | 考生编号 | 报考专业名称 | 政治理论 | 外国语 | 业务课1 | 业务课2 | 初试总分 | 报考学习方式 +jlu_2025_jjxy.pdf pages=2 有表=2 行数=97 列=8 首行: 考生编号 | 姓名 | 专业名称 | 政治 | 外语 | 专业1 | 专业2 | 初试总分 +kmust_2026_fushi.pdf pages=1 有表=1 行数=1 列=1 首行: 请输入验证码下载附件 +njti_2025_fushi.pdf pages=9 有表=9 行数=234 列=10 首行: 序号 | 考生编号 | 姓名 | 报考专业 | 政治理论 | 外国语 | 业务课一 | 业务课二 | 总分 | 报考性质 +nudt_2025_met.pdf pages=2 有表=2 行数=33 列=10 首行: 序号 | 姓名 | 考生编号 | 报考专业 | 初试各科成绩 | | | | | 加分情况 +nvir_2026_fushi.pdf pages=1 有表=1 行数=15 列=10 首行: 考生编号 | 考生姓名 | 报考专业 | 报考学习形式 | 政治理论成绩 | 英语(一) | 数学(一) | 业务课二成绩 | 总分 | 备注 +pumc_2025_fushi.pdf pages=1 有表=1 行数=1 列=1 首行: 请输入验证码下载附件 +sass_2025_fushi.pdf pages=3 有表=3 行数=262 列=1 首行: 四川省社会科学院 +shcc_2025_fushi.pdf pages=3 有表=3 行数=84 列=11 首行: 上海海关学院2025年全 | | | | | | | | | | +shcc_2026_fushi.pdf pages=3 有表=3 行数=99 列=10 首行: 上海海关学院2026年全 | | | | | | | | | +tjcm_2025_fushi.pdf pages=6 有表=6 行数=211 列=8 首行: 考生编号 | 姓名 | 研究方向名称 | 政治理论 | 外国语 | 业务课一 | 业务课二 | 总分 +tjcm_2026_fushi.pdf pages=15 有表=15 行数=338 列=8 首行: 1 +ucas_2025_wxqb.pdf pages=1 有表=1 行数=8 列=7 首行: 学科名称 | 政治 | 英语 | 专业课 1 | 专业课2 | 总分 +whut_2026_nilq.pdf pages=115 有表=0 行数=0 列=0 首行: +zhongxi_2025_fushi.pdf pages=2 有表=2 行数=25 列=1 首行: 中央戏剧学院2025 年 diff --git a/审计报告/官方名单统计_20261101/diag_orr_rows.txt b/审计报告/官方名单统计_20261101/diag_orr_rows.txt new file mode 100644 index 00000000..9fd83d9d --- /dev/null +++ b/审计报告/官方名单统计_20261101/diag_orr_rows.txt @@ -0,0 +1,78 @@ +==== bnu_2025_edu.pdf + ['2025年北京师范大学硕士', '', '', '', '', '', '', '', '', '', '', ''] + ['序号', '考生编号', '姓名', '专业', '方向', '政治理论', '外国语', '业务课1', '业务课2', '总分', '调剂', '备注'] + ['1', '1002752180401', '卢天齐', '040101教育学原理', '01教育基本理论', '66', '67', '229', '0', '362', '', ''] + ['2', '1002752180400', '李晓', '040101教育学原理', '01教育基本理论', '67', '66', '232', '0', '365', '', ''] + ['3', '1002752180400', '李姣林', '040101教育学原理', '01教育基本理论', '61', '61', '246', '0', '368', '', ''] +==== bsu_2025_nilq.pdf + ['姓名', '考生编号', '专项计划', '报考专业名称', '研究方向名称', '运动项目', '学习方式', '初试总分', '复试总分', '总成绩'] + ['孙丽华', '1004352025115', '无', '马克思主义基本原理', '马克思主义体育理论研究', '', '全日制', '400', '441.34', '414.47'] + ['曾玺晔', '1004352025115', '无', '马克思主义基本原理', '马克思主义体育理论研究', '', '全日制', '375', '419.34', '390.52'] + ['柴芙蓉', '1004352025115', '无', '马克思主义基本原理', '马克思主义体育理论研究', '', '全日制', '368', '427.66', '388.88'] + ['郭晨冉', '1004352025115', '无', '马克思主义基本原理', '马克思主义体育理论研究', '', '全日制', '368', '407.99', '382.00'] +==== btbu_2025_jj_fushi.pdf + ['序号', '专业代码', '专业名称', '考生姓名', '考生编号', '政治理论成绩', '外国语成绩', '业务课一成绩', '业务课二成绩', '初试总分', '备注'] + ['1', '025600', '资产评估', '赵淼', '1001154360000', '57', '69', '122', '139', '387', ''] + ['2', '025600', '资产评估', '温佳鑫', '1001154360000', '56', '78', '95', '145', '374', ''] + ['3', '025600', '资产评估', '匡维祎', '1001154360000', '61', '66', '100', '146', '373', ''] + ['4', '025600', '资产评估', '江盈盈', '1001154360000', '59', '62', '115', '135', '371', ''] +==== gxust_2025_fushi.pdf + ['考生编号', '姓名', '院系代码', '专业代码', '政治', '外语', '业务1', '业务2', '总分', '备注'] + ['1059450180200', '王铭坚', '001', '080200', '48', '27', '83', '120', '278', '破格'] + ['1059450180200', '陆正举', '001', '080200', '51', '30', '52', '125', '258', '享受少数民族照顾政策'] + ['1059450180200', '陈斌', '001', '085501', '56', '32', '78', '126', '292', ''] + ['1059450180200', '王彬', '001', '085501', '62', '48', '64', '112', '286', ''] +==== shcc_2025_fushi.pdf + ['上海海关学院2025年全国', '', '', '', '', '', '', '', '', '', ''] + ['序号', '姓名', '考生编号', '初试总成绩', '政治理论成绩', '外国语成绩', '业务课一成绩', '业务课二成绩', '报考专业代码', '报考专业', '备注'] + ['1', '李阳', '1027450000000', '394.0', '66.0', '83.0', '122.0', '123.0', '055100', '翻译', ''] + ['2', '董怡', '1027450000001', '400.0', '62.0', '86.0', '115.0', '137.0', '055100', '翻译', ''] + ['3', '佟金秋', '1027450000000', '209.0', '138.0', '71.0', '0.0', '0.0', '125200', '公共管理', ''] +==== tjcm_2025_fushi.pdf + ['考生编号', '姓名', '研究方向名称', '政治理论', '外国语', '业务课一', '业务课二', '总分'] + ['1007251237040', '刘美奕', '复调', '61', '39', '141', '140', '381'] + ['1007251237070', '张博雅', '西方音乐史', '63', '54', '136', '129', '382'] + ['1007251237070', '杨舒琪', '西方音乐史', '60', '52', '109', '138', '359'] + ['1007251237070', '李诗寒', '西方音乐史', '72', '55', '142', '130', '399'] +==== njti_2025_fushi.pdf + ['序号', '考生编号', '姓名', '报考专业', '政治理论', '外国语', '业务课一', '业务课二', '总分', '报考性质'] + ['1', '1033052100007', '吴梦宇', '体育人文社会学', '61', '60', '236', '0', '357', '全日制'] + ['2', '1033052100003', '张晶晶', '体育人文社会学', '67', '56', '217', '0', '340', '全日制'] + ['3', '1033052100003', '李阳', '体育人文社会学', '67', '65', '192', '0', '324', '全日制'] + ['4', '1033052100003', '陆镟宇', '体育人文社会学', '60', '55', '198', '0', '313', '全日制'] +==== ucas_2025_wxqb.pdf + ['学科名称', '政治', '英语', '专业课 1', '专业课2', '总分'] + ['信息资源管理', '≥41', '≥41', '≥100', '≥100', '≥333'] + ['考生编号', '姓名', '政治', '英语', '专业课1', '专业课 2', '总分'] + ['1443051550000', '王锌睿', '58', '57', '121', '105', '341'] + ['1443051550000', '王鑫瑶', '62', '57', '127', '113', '359'] +==== ccp_2025_xsx.pdf + ['院部', '专业', '考生编号', '姓名', '初试成绩', '', '', '', '', '备注'] + ['', '', '', '', '思想政治理论', '外语', '业务课1', '业务课2', '总分', ''] + ['马克思主义学院', '马克思主义理论', '8961156789002', '李若瑶', '62', '55', '128', '94', '339', ''] + ['', '马克思主义理论', '8961156789002', '周雨晴', '64', '40', '114', '110', '328', ''] + ['哲学与文化教研部', '马克思主义哲学', '8961156789000', '刘书豪', '62', '56', '140', '122', '380', ''] +==== nvir_2026_fushi.pdf + ['考生编号', '考生姓名', '报考专业', '报考学习形式', '政治理论成绩', '英语(一)', '数学(一)', '业务课二成绩', '总分', '备注'] + ['8310460803000', '刘秋缘', '光学工程', '全日制', '74', '79', '107', '100', '360', '一志愿上线'] + ['8310460803000', '王兴磊', '光学工程', '全日制', '80', '60', '80', '118', '338', ''] + ['8310460803000', '王李阳', '光学工程', '全日制', '77', '71', '89', '98', '335', ''] + ['8310460803000', '史夏燃', '光学工程', '全日制', '74', '40', '84', '119', '317', ''] +==== bnu_2025_stat.pdf + ['2025年北京师范大学硕士', '', '', '', '', '', '', '', '', '', '', ''] + ['序号', '考生编号', '姓名', '专业', '方向', '政治理论', '外国语', '业务课1', '业务课2', '总分', '调剂', '备注'] + ['1', '1002759983402', '刘婷婷', '025200应用统计', '01经济与金融统计(珠海)', '55', '70', '115', '105', '345', '', ''] + ['2', '1002759983402', '刘昊辰', '025200应用统计', '01经济与金融统计(珠海)', '51', '71', '122', '101', '345', '', ''] + ['3', '1002759983403', '刘奕潇', '025200应用统计', '01经济与金融统计(珠海)', '59', '72', '108', '106', '345', '', ''] +==== sass_2025_fushi.pdf + ['四川省社会科学院'] + ['2025 年硕士研究生初试'] + ['哲学'] + ['马克思主义哲学'] + ['叶雨宸'] +==== jhun_2025_fushi.pdf + ['序号', '姓名', '考生编号', '报考专业名称', '政治理论', '外国语', '业务课1', '业务课2', '初试总分', '报考学习方式'] + ['1', '冯*荣', '11072******18', '土木水利', '53', '60', '100', '120', '333', '全日制'] + ['2', '张*春', '11072******18', '土木水利', '45', '34', '101', '114', '294', '全日制'] + ['3', '桂*宇', '11072******18', '土木水利', '55', '54', '108', '110', '327', '全日制'] + ['4', '张*鑫', '11072******18', '土木水利', '49', '39', '77', '110', '275', '全日制'] diff --git a/审计报告/官方名单统计_20261101/download_manifest.csv b/审计报告/官方名单统计_20261101/download_manifest.csv new file mode 100644 index 00000000..5a254cba --- /dev/null +++ b/审计报告/官方名单统计_20261101/download_manifest.csv @@ -0,0 +1,34 @@ +school,year,kind,url,status,bytes,sha256,local_path,content_type,error +上海海关学院,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250312/7a4b1b4698aa78495311a7a7542c889867335cb8-b8e9-480d-b4fb-06ea2e3fb92c.pdf,200,84214,db2cdb709a3b6a77c062d44215f3bfe7e0d70aca0f3b0ee8dc39710c7f85982f,D:\择校\运行暂存\official_roster_2025_2026\raw\shcc_2025_fushi.pdf,application/pdf, +上海海关学院,2026,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260317/4f92e1abc0cd54b2077b3e238f1426a2cc46783e-3b80-4576-9e50-e7668dc2598a.pdf,200,91296,5d5030fe405167e3f2890a2feac2c8145ce48447604692372bf9146751c5cc4e,D:\择校\运行暂存\official_roster_2025_2026\raw\shcc_2026_fushi.pdf,application/pdf, +湖北师范大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/1ea48991722be8e63323a37afeff86a52f138034-3393-4dd6-b5ef-13c0897bd391.pdf,200,334103,11ddcda63c96800851d7f991e5991918a616dd4960d8276282d7cdfc754c568c,D:\择校\运行暂存\official_roster_2025_2026\raw\hbnu_2025_fushi.pdf,application/pdf, +广西科技大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/833e114805401e79ba36b17e36c4ae1dBE9BD4ED1184E43A8B7DD1485CF_04E14D92_28836.pdf,200,165942,1cb81e5512b70d92017c4ca86822f13e810a248883967e532dc86da2ece8b029,D:\择校\运行暂存\official_roster_2025_2026\raw\gxust_2025_fushi.pdf,application/pdf, +天津音乐学院,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/b848454801b6cc13749e36b4c2bc69bcB3822142369495684756F0C8F27_DC431765_27177.pdf,200,160119,7b05f0fe4149cd727bf416f7a33376f8c51a7e6dc108607fd6c08145716a58ad,D:\择校\运行暂存\official_roster_2025_2026\raw\tjcm_2025_fushi.pdf,application/pdf, +天津音乐学院,2026,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260317/bffd699d9fb5f7afb7ddcd51cfabb16e4269B218AE0EE04581AF5482128_193AE41D_4287E.pdf,200,272510,de7a3ebd2ad8ceafd68f01fd8e6efc4eec80f0c654993a85db68bf120fbfae4f,D:\择校\运行暂存\official_roster_2025_2026\raw\tjcm_2026_fushi.pdf,application/pdf, +四川省社会科学院,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250311/3272b7d336e63c423fa8cb122e47fc1b%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95.pdf,200,121512,939fceaaad5754dd0d75d1d68cb3503ede7c79ed43988b7708cc55856eaeaa6d,D:\择校\运行暂存\official_roster_2025_2026\raw\sass_2025_fushi.pdf,application/pdf, +国防科技大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/013289895ffda6b5f7d684364a76596d20250314191922_902.docx,200,36531,776c756db69a4adf004725f71a19119405b4c309b3f026e87479a4afd93ced5f,D:\择校\运行暂存\official_roster_2025_2026\raw\nudt_2025_sys_docx.docx,application/vnd.openxmlformats-officedocument.wordprocessingml.document, +国防科技大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/4145017d2ba6c12294b5d5e5ca9dc95420250314191030_95.docx,200,114074,f73ac5bbd4f18b90c659a6c213b03e69def7f6324d35ac52850deda4814be763,D:\择校\运行暂存\official_roster_2025_2026\raw\nudt_2025_cs_docx.docx,application/vnd.openxmlformats-officedocument.wordprocessingml.document, +国防科技大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/0c98b822f08f76d47d1cbd8750d9bde8%E6%B0%94%E8%B1%A1%E6%B5%B7%E6%B4%8B%E5%AD%A6%E9%99%A2.pdf,200,188806,41d4cd151b328829f070f93e44574fe19f64028ca3ba216e321d6094f693c771,D:\择校\运行暂存\official_roster_2025_2026\raw\nudt_2025_met.pdf,application/pdf, +北京师范大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/b7912c07b51042ddb2d2ac0e0ecc2f3a%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,248037,b2c14105bba427b776f3e85b1a82d535cee5deda9c339e1ca7d2ef49a8e42d85,D:\择校\运行暂存\official_roster_2025_2026\raw\bnu_2025_edu.pdf,application/pdf, +吉林大学,2025,复试名单,https://jjxy.jlu.edu.cn/system/_content/download.jsp?urltype=news.DownloadAttachUrl&owner=1876272413&wbfileid=16006159,200,70779,94b31411bd67f5c85e52f7fe0fe12cd04ff312b117cd94b44941a922966fcb74,D:\择校\运行暂存\official_roster_2025_2026\raw\jlu_2025_jjxy.pdf,application/octet-stream, +中共北京市委党校,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/23ac152193a762ff8af43c55b5cae6b020250314165746.pdf,200,46765,3337c678818d1753e95f1f7bb6f2e65695aa7a3efe25b1249d6259e78370df74,D:\择校\运行暂存\official_roster_2025_2026\raw\ccp_2025_mpa.pdf,application/pdf, +中共北京市委党校,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/8b3413c26c14155584824b2b0c41530720250314165651.pdf,200,54249,c37933569430acf357ed97f370a399c779fd72cd16fd9f3854f5a3d60bc56f53,D:\择校\运行暂存\official_roster_2025_2026\raw\ccp_2025_xsx.pdf,application/pdf, +江汉大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/7226f5b331679a240e23a1d5123ff6d8%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,62604,4c62f6e1216dae690ce9592209d80cb69b30c7c4b3369b17615ae3f5a64976e3,D:\择校\运行暂存\official_roster_2025_2026\raw\jhun_2025_fushi.pdf,application/pdf, +北京协和医学院,2025,复试名单,https://graduate.pumc.edu.cn/system/_content/download.jsp?urltype=news.DownloadAttachUrl&owner=1653377925&wbfileid=4596980,200,3804,45004b8b823b72bcc5599f8a917b108ce025b98e5a11bb47481703a04d01c437,D:\择校\运行暂存\official_roster_2025_2026\raw\pumc_2025_fushi.pdf,text/html;charset=UTF-8, +广东外语外贸大学,2026,拟复试名单,https://yz.gdufs.edu.cn/system/_content/download.jsp?urltype=news.DownloadAttachUrl&owner=1141615196&wbfileid=60B001E28276C00A507037B1316A8364,200,3829,447b3d1804fdd3d4f48a773212050f29aef82993b3849b857e56faf393e99713,D:\择校\运行暂存\official_roster_2025_2026\raw\gdufs_2026_fushi.pdf,text/html;charset=UTF-8, +昆明理工大学,2026,复试名单,https://www.kmust.edu.cn/system/_content/download.jsp?urltype=news.DownloadAttachUrl&owner=1534810118&wbfileid=17814854,200,3805,9c84c5939a7dca6627b76ef1b0e4c5082ebf5a3d8358e352b111bfe144533725,D:\择校\运行暂存\official_roster_2025_2026\raw\kmust_2026_fushi.pdf,text/html;charset=UTF-8, +中央戏剧学院,2025,复试成绩要求,http://chntheatre.edu.cn/Uploads/Cad/Picture/2025/03/12/%E4%B8%AD%E5%A4%AE%E6%88%8F%E5%89%A7%E5%AD%A6%E9%99%A22025%E5%B9%B4%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E5%8F%82%E5%8A%A0%E5%A4%8D%E8%AF%95%E6%88%90%E7%BB%A9%E8%A6%81%E6%B1%82.20250312165204.pdf,200,81738,283c73bedbff474a92251fa5087a7e1e3fe08ae97ad2797cd0dbae521b268122,D:\择校\运行暂存\official_roster_2025_2026\raw\zhongxi_2025_fushi.pdf,application/pdf, +哈尔滨学院,2026,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260309/bdc8f62068393da93e043ff2bec6b691%E9%99%84%E4%BB%B61%E5%93%88%E5%B0%94%E6%BB%A8%E5%AD%A6%E9%99%A22026%E5%B9%B4%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E4%B8%80%E5%BF%97%E6%84%BF%E5%A4%8D%E8%AF%95%E8%80%83%E7%94%9F%E5%90%8D%E5%8D%95.pdf,200,64137,a0bc1d5406e6604c000d771f4b9ccbdd0c8510cb53d7bace74efc381cbaf8cd0,raw/hrb_2026_fushi,application/pdf, +中国兵器科学研究院(昆明物理研究所),2026,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20260312/81d7ff8418d012579f377e93d8bbf3a1f4c243a5524f411d932928e7b2afce5a.pdf,200,75379,4b6ee27abff30dfba1f0c024a1ea764d9b6847540c610271ec1fb16cab1af1fc,raw/nvir_2026_fushi,application/pdf, +南京体育学院,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/a9f358c474c58ba8c6cfe1e2d5f7c1ba%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,165428,6b37690a12c18e19e8bf5cfa1bd8ffc9f3076399753ed2580f76f09da1421263,raw/njti_2025_fushi,application/pdf, +北京工商大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/afd9e5d1d2e349f668a1c2ee25effd8c%E5%8C%97%E4%BA%AC%E5%B7%A5%E5%95%86%E5%A4%A7%E5%AD%A6%E7%BB%8F%E6%B5%8E%E5%AD%A6%E9%99%A22025%E5%B9%B4%E7%A1%95%E5%A3%AB%E7%A0%94%E7%A9%B6%E7%94%9F%E6%8B%9B%E7%94%9F%E8%80%83%E8%AF%95%E4%B8%80%E5%BF%97%E6%84%BF%E8%80%83%E7%94%9F%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,149729,46fa56c0fa827e94d765f244ab3d9e610a73ae6a23f928f8b92c7667350e6edd,raw/btbu_2025_jj_fushi,application/pdf, +中国科学院大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250311/15276ee4ebbaf9f2dbe69ca878b81615%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E5%A4%A7%E5%AD%A6%E6%96%87%E7%8C%AE%E6%83%85%E6%8A%A5%E4%B8%AD%E5%BF%83.pdf,200,183149,db0cee403312caee3fb2e58fdb4c48695d6ab63c8f5992c01507f22c81991389,raw/ucas_2025_wxqb,application/pdf, +北京师范大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/6986760fb9d3919b14ba295eae341d77%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,205582,367be1ab363a5d4984bc36b89f39fb08e4c4ab10312ef24c443916aa2747e6c3,raw/bnu_2025_stat.pdf,application/pdf, +北京师范大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/37c3e8666880a4e8100717aa48b9fe12%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,39771,51a1f910b9b7bd0e3d66dcd9c65a8b229fbff3de58859d32393c89f18db5963b,raw/bnu_2025_nsem.pdf,application/pdf, +北京师范大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/3134011253d731c29744de09298be7ed%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,117917,50cb37efc416b7a200a499c1ca2511fde10b021f103e6e9c2a7e5f4d2cea4db4,raw/bnu_2025_sfll.pdf,application/pdf, +北京师范大学,2025,复试名单,https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250314/86b06e243051de799d5471499913f4c0%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf,200,80502,a2b89385953c879b61bccc815870869e31d78990a149c016705bdec0ba49cd11,raw/bnu_2025_wl.pdf,application/pdf, +河北医科大学,2026,同等学力拟录取,https://gschool.hebmu.edu.cn/resources/43/202607/1783644930355071635.xlsx,ERR,0,,,,"HTTPSConnectionPool(host='gschool.hebmu.edu.cn', port=443): Max retries exceeded with url: /resources/43/202607/17836449" +河北医科大学,2026,在职专博拟录取,https://gschool.hebmu.edu.cn/resources/43/202607/1783644930361032931.xlsx,ERR,0,,,,"HTTPSConnectionPool(host='gschool.hebmu.edu.cn', port=443): Max retries exceeded with url: /resources/43/202607/17836449" +武汉理工大学,2026,拟录取名单,http://gd.whut.edu.cn/zs/tzgg/202604/P020260430710110612420.pdf,200,96778903,5451e098d8c4883a8cde1cde0236ddfeac2dfe6058a1f1f47a98efa4c0a4faca,raw/whut_2026_nilq.pdf,application/pdf, +北京体育大学,2026,拟录取名单,https://zs.bsu.edu.cn/docs/2026-03/a5366f8d92c34b37abe72e69fdd91cdd.pdf,200,243919,9f05aa4a94980eaa0c1d612aea23c3055497e831e68790a5a8f280280e446d93,raw/bsu_2026_nilq.pdf,application/pdf, +北京体育大学,2025,拟录取名单,https://zs.bsu.edu.cn/docs/2025-03/7105c8e1ab284d729be64d90ad6094a1.pdf,200,246898,6539bc8508c4effc8484f8a26ab2a0f1d483950922e74a36928b35afe1ff95b8,raw/bsu_2025_nilq.pdf,application/pdf, diff --git a/审计报告/官方名单统计_20261101/manifest.json b/审计报告/官方名单统计_20261101/manifest.json new file mode 100644 index 00000000..b5660742 --- /dev/null +++ b/审计报告/官方名单统计_20261101/manifest.json @@ -0,0 +1,31 @@ +{ + "generated_at": "2026-11-01", + "rows_in_cand": 216, + "table": "official_roster_major_stat", + "rows_ingested": 216, + "source_dir": "运行暂存/official_roster_2025_2026/raw", + "not_ingested_evidence": { + "验证码墙": [ + "gdufs_2026_fushi.pdf", + "kmust_2026_fushi.pdf", + "pumc_2025_fushi.pdf" + ], + "扫描件无文字层": [ + "whut_2026_nilq.pdf" + ], + "无专业列仅校级": [ + "ccp_2025_mpa.pdf", + "tjcm_2025_fushi.pdf", + "ucas_2025_wxqb.pdf" + ] + }, + "files": { + "cand_orr.json.gz": "33efbc5c308134b1", + "diag_orr.txt": "2586828c997df8d8", + "diag_orr_rows.txt": "773bd30492c0f04a", + "download_manifest.csv": "4a1b6a0e376a607a", + "orr_crosscheck.txt": "69126be585189dda", + "orr_diag.txt": "637e81b8718912b8", + "orr_quality.txt": "869c9137d7b35922" + } +} \ No newline at end of file diff --git a/审计报告/官方名单统计_20261101/orr_crosscheck.txt b/审计报告/官方名单统计_20261101/orr_crosscheck.txt new file mode 100644 index 00000000..8360f775 --- /dev/null +++ b/审计报告/官方名单统计_20261101/orr_crosscheck.txt @@ -0,0 +1,15 @@ +官方原件 vs 平台表 可比键=14 完全相等=7 占比=50.0% + ('上海海关学院', '2025', '055100', '翻译', '2', 2) + ('上海海关学院', '2025', '125200', '公共管理', '59', 26) + ('北京师范大学', '2025', '025200', '应用统计', '277', 554) + ('北京师范大学', '2025', '045108', '学科教学(英语)', '18', 82) + ('北京师范大学', '2025', '045108', '学科教学(英语)', '82', 82) + ('北京师范大学', '2025', '050201', '英语语言文学', '5', 5) + ('北京师范大学', '2025', '050202', '俄语语言文学', '1', 1) + ('北京师范大学', '2025', '050211', '外国语言学及应用语言学', '8', 8) + ('北京师范大学', '2025', '055101', '英语笔译', '35', 34) + ('北京师范大学', '2025', '071400', '统计学', '9', 18) + +官方表规模: (216, 3772, 10) +有单科分布的键: 164 / 平台表同字段: 402 +官方表覆盖校: ['上海海关学院', '中共北京市委党校', '北京体育大学', '北京师范大学', '吉林大学', '哈尔滨学院', '天津音乐学院', '广西科技大学', '江汉大学', '湖北师范大学'] diff --git a/审计报告/官方名单统计_20261101/orr_diag.txt b/审计报告/官方名单统计_20261101/orr_diag.txt new file mode 100644 index 00000000..28e60c87 --- /dev/null +++ b/审计报告/官方名单统计_20261101/orr_diag.txt @@ -0,0 +1,29 @@ +bnu_2025_edu.json 北京师范大学 复试名单 行=327 专业键=26 门槛行=0 +bnu_2025_nsem.json 北京师范大学 复试名单 行=15 专业键=1 门槛行=0 +bnu_2025_sfll.json 北京师范大学 复试名单 行=131 专业键=5 门槛行=0 +bnu_2025_stat.json 北京师范大学 复试名单 行=286 专业键=2 门槛行=0 +bnu_2025_wl.json 北京师范大学 复试名单 行=16 专业键=9 门槛行=0 +bsu_2025_nilq.json 北京体育大学 拟录取名单 行=594 专业键=25 门槛行=0 +bsu_2026_nilq.json 北京体育大学 拟录取名单 行=611 专业键=26 门槛行=0 +btbu_2025_jj_fushi.json 复试名单 行=0 专业键=0 门槛行=0 +ccp_2025_mpa.json 中共北京市委党校 复试名单 行=25 专业键=1 门槛行=0 +ccp_2025_xsx.json 中共北京市委党校 复试名单 行=7 专业键=1 门槛行=0 +gdufs_2026_fushi.json 广东外语外贸大学 拟复试名单 行=0 专业键=0 门槛行=0 +gxust_2025_fushi.json 广西科技大学 复试名单 行=419 专业键=30 门槛行=0 +hbnu_2025_fushi.json 湖北师范大学 复试名单 行=538 专业键=65 门槛行=0 +hrb_2026_fushi.json 哈尔滨学院 复试名单 行=11 专业键=2 门槛行=0 +jhun_2025_fushi.json 江汉大学 复试名单 行=10 专业键=3 门槛行=0 +jlu_2025_jjxy.json 吉林大学 复试名单 行=96 专业键=9 门槛行=0 +kmust_2026_fushi.json 昆明理工大学 复试名单 行=0 专业键=0 门槛行=0 +njti_2025_fushi.json 复试名单 行=0 专业键=0 门槛行=0 +nudt_2025_met.json 国防科技大学 复试名单 行=0 专业键=0 门槛行=0 +nvir_2026_fushi.json 复试名单 行=0 专业键=0 门槛行=0 +pumc_2025_fushi.json 北京协和医学院 复试名单 行=0 专业键=0 门槛行=0 +sass_2025_fushi.json 四川省社会科学院 复试名单 行=0 专业键=0 门槛行=0 +shcc_2025_fushi.json 上海海关学院 复试名单 行=82 专业键=5 门槛行=0 +shcc_2026_fushi.json 上海海关学院 复试名单 行=97 专业键=4 门槛行=0 +tjcm_2025_fushi.json 天津音乐学院 复试名单 行=206 专业键=1 门槛行=0 +tjcm_2026_fushi.json 天津音乐学院 复试名单 行=301 专业键=1 门槛行=0 +ucas_2025_wxqb.json 复试名单 行=0 专业键=0 门槛行=1 +whut_2026_nilq.json 武汉理工大学 拟录取名单 行=0 专业键=0 门槛行=0 +zhongxi_2025_fushi.json 中央戏剧学院 复试成绩要求 行=0 专业键=0 门槛行=0 \ No newline at end of file diff --git a/审计报告/官方名单统计_20261101/orr_quality.txt b/审计报告/官方名单统计_20261101/orr_quality.txt new file mode 100644 index 00000000..57546ccb --- /dev/null +++ b/审计报告/官方名单统计_20261101/orr_quality.txt @@ -0,0 +1,17 @@ +键=216 校=10 +校分布: [('湖北师范大学', 65), ('北京体育大学', 51), ('北京师范大学', 43), ('广西科技大学', 30), ('吉林大学', 9), ('上海海关学院', 9), ('江汉大学', 3), ('中共北京市委党校', 2), ('哈尔滨学院', 2), ('天津音乐学院', 2)] + +有专业代码=80 有名称=182 校级合计=4 +有人数=216 有总分分布=207 有政治分布=164 +总人数=3772 + +=== 抽样 === + {'school': '北京师范大学', 'year': '2025', 'list_kind': '复试名单', 'major_code': '040101', 'major_name': '教育学原理', 'person_count': '12', 'politics_min': '60', 'politics_max': '73', 'politics_median': '66', 'foreign_min': '61', 'foreign_max': '89', 'foreign_median': '66', 'biz1_min': '126', 'biz1_max': '251', 'biz1_median': '244.5', 'total_min': '279', 'total_max': '404', 'total_median': '371', 'source_url': 'https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/b7912c07b51042ddb2d2ac0e0ecc2f3a%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf', 'local_file': 'bnu_2025_edu.pdf', 'sha256': 'b2c14105bba427b776f3e85b1a82d535cee5deda9c339e1ca7d2ef49a8e42d85', 'directions': '2'} + {'school': '北京师范大学', 'year': '2025', 'list_kind': '复试名单', 'major_code': '040102', 'major_name': '课程与教学论', 'person_count': '13', 'politics_min': '59', 'politics_max': '67', 'politics_median': '64', 'foreign_min': '58', 'foreign_max': '72', 'foreign_median': '65', 'biz1_min': '226', 'biz1_max': '256', 'biz1_median': '240', 'total_min': '360', 'total_max': '392', 'total_median': '365', 'source_url': 'https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/b7912c07b51042ddb2d2ac0e0ecc2f3a%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf', 'local_file': 'bnu_2025_edu.pdf', 'sha256': 'b2c14105bba427b776f3e85b1a82d535cee5deda9c339e1ca7d2ef49a8e42d85', 'directions': '2'} + {'school': '北京师范大学', 'year': '2025', 'list_kind': '复试名单', 'major_code': '040103', 'major_name': '教育史', 'person_count': '6', 'politics_min': '56', 'politics_max': '63', 'politics_median': '61', 'foreign_min': '52', 'foreign_max': '70', 'foreign_median': '64.5', 'biz1_min': '214', 'biz1_max': '239', 'biz1_median': '234.5', 'total_min': '341', 'total_max': '367', 'total_median': '357', 'source_url': 'https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/b7912c07b51042ddb2d2ac0e0ecc2f3a%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf', 'local_file': 'bnu_2025_edu.pdf', 'sha256': 'b2c14105bba427b776f3e85b1a82d535cee5deda9c339e1ca7d2ef49a8e42d85', 'directions': '2'} + {'school': '北京师范大学', 'year': '2025', 'list_kind': '复试名单', 'major_code': '040104', 'major_name': '比较教育学', 'person_count': '14', 'politics_min': '52', 'politics_max': '70', 'politics_median': '64', 'foreign_min': '49', 'foreign_max': '80', 'foreign_median': '66.5', 'biz1_min': '223', 'biz1_max': '247', 'biz1_median': '236', 'total_min': '346', 'total_max': '386', 'total_median': '362.5', 'source_url': 'https://ggyx-img.oss-cn-zhangjiakou.aliyuncs.com/ggyx_uploads/20250315/b7912c07b51042ddb2d2ac0e0ecc2f3a%E5%A4%8D%E8%AF%95%E5%90%8D%E5%8D%95.pdf', 'local_file': 'bnu_2025_edu.pdf', 'sha256': 'b2c14105bba427b776f3e85b1a82d535cee5deda9c339e1ca7d2ef49a8e42d85', 'directions': '4'} +=== 可疑:人数=1 且无成绩 === + 条数=5 + 北京师范大学 应用数学 1 + 北京师范大学 自然地理学 1 + 北京师范大学 人文地理学 1 diff --git a/脚本/名单解析/ingest_orr_stat.py b/脚本/名单解析/ingest_orr_stat.py new file mode 100644 index 00000000..9c87831f --- /dev/null +++ b/脚本/名单解析/ingest_orr_stat.py @@ -0,0 +1,99 @@ +# -*- coding: utf-8 -*- +"""2025/2026 官方名单统计入库 official_roster_major_stat。 + +与 src_roster_major_stat(平台抽好的表)同构但分表:官方原件与平台值要能逐字段对账, +又不能写进同一列。成绩只留分布(最低/中位/最高),不存个人成绩。 +入库前核:人数为正整数、分数落在校验区间、min<=median<=max、业务键唯一。 +超区间的不丢,标 data_flag 交下游过滤。 +""" +import json +import re +import sqlite3 +import time + +ZX = r'D:/择校/数据库/zexiao_2027.db' +TABLE = 'official_roster_major_stat' +DDL = '''CREATE TABLE IF NOT EXISTS %s ( + "school" TEXT, "year" TEXT, "list_kind" TEXT, + "major_code" TEXT, "major_name" TEXT, "person_count" TEXT, + "total_min" TEXT, "total_median" TEXT, "total_max" TEXT, + "politics_min" TEXT, "politics_median" TEXT, "politics_max" TEXT, + "foreign_min" TEXT, "foreign_median" TEXT, "foreign_max" TEXT, + "biz1_min" TEXT, "biz1_median" TEXT, "biz1_max" TEXT, + "biz2_min" TEXT, "biz2_median" TEXT, "biz2_max" TEXT, + "source_url" TEXT, "local_file" TEXT, "sha256" TEXT, + "note" TEXT, "data_flag" TEXT, "_ingested_at" TEXT, + PRIMARY KEY ("school","year","list_kind","major_code","major_name","local_file") +)''' % TABLE +KEYS = ('school', 'year', 'list_kind', 'major_code', 'major_name', 'local_file') +# 单科上界按满分放宽:政治/外语 100,业务课 300(多为 150 或 300 满分),总分 600 +UPPER = {'politics': 100, 'foreign': 100, 'biz1': 300, 'biz2': 300, 'total': 600} + + +def validate(rows): + bad, seen, out = {}, set(), [] + for r in rows: + pc = str(r.get('person_count', '')).strip() + if not pc.isdigit() or int(pc) <= 0 or int(pc) > 5000: + bad['count_invalid'] = bad.get('count_invalid', 0) + 1 + continue + flags = [] + for k, hi in UPPER.items(): + vals = [float(r[k + '_' + s]) for s in ('min', 'median', 'max') + if r.get(k + '_' + s) not in (None, '')] + if not vals: + continue + if any(v > hi for v in vals): + flags.append('%s_over' % k) + if r.get(k + '_min') and r.get(k + '_max') and \ + float(r[k + '_min']) > float(r[k + '_max']): + flags.append('%s_min_gt_max' % k) + key = tuple((r.get(c) or '') for c in KEYS) + if key in seen: + bad['dup_key'] = bad.get('dup_key', 0) + 1 + continue + seen.add(key) + out.append(dict(r, data_flag=','.join(flags))) + return out, bad + + +def main(): + src = r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json' + rows = json.load(open(src, encoding='utf-8')) + for r in rows: + r['note'] = r.get('note', '') + if not r.get('year'): + m = re.search(r'(20\d{2})', r.get('local_file') or '') + r['year'] = m.group(1) if m else '' + if r['year']: + r['note'] = (r['note'] + ';').strip(';') + '年份取自原件名' + good, bad = validate(rows) + print('候选 %d 通过 %d 拒绝 %s 带flag %d' % ( + len(rows), len(good), bad, sum(1 for x in good if x['data_flag']))) + z = sqlite3.connect(ZX, timeout=300) + z.execute(DDL) + cols = [c for c in z.execute('select * from %s limit 0' % TABLE).description + if c[0] != '_ingested_at'] + now = time.strftime('%Y-%m-%dT%H:%M:%S') + sql = 'INSERT OR REPLACE INTO %s ("%s","_ingested_at") VALUES (%s,?)' % ( + TABLE, '","'.join([c[0] for c in cols]), ','.join(['?'] * len(cols))) + n = 0 + for r in good: + vals = ['' if r.get(c[0]) is None else str(r[c[0]]) for c in cols] + n += z.execute(sql, vals + [now]).rowcount + z.commit() + tot = z.execute('select count(*) from %s' % TABLE).fetchone()[0] + z.execute('INSERT INTO changelog VALUES (?,?,?,?,?,?)', + (time.strftime('%Y-%m-%d %H:%M:%S'), 'orr_roster_stat_20261101', TABLE, + 'insert', n, '官方复试/拟录取名单逐专业人数与成绩分布;拒绝=%s' % json.dumps( + bad, ensure_ascii=False))) + z.commit() + print('%s 新增 %d 表内 %d' % (TABLE, n, tot)) + for r in z.execute('select school,list_kind,year,count(*),sum(cast(person_count as int)) ' + 'from %s group by 1,2,3 order by 5 desc' % TABLE): + print(' ', tuple(r)) + z.close() + + +if __name__ == '__main__': + main() diff --git a/脚本/名单解析/parse_official_roster_stat.py b/脚本/名单解析/parse_official_roster_stat.py new file mode 100644 index 00000000..f4a8b131 --- /dev/null +++ b/脚本/名单解析/parse_official_roster_stat.py @@ -0,0 +1,226 @@ +# -*- coding: utf-8 -*- +"""2025/2026 官方复试·拟录取名单 -> 逐专业人数与成绩分布。 + +列结构与 src_roster_major_stat(平台来源)保持一致但分表存放: +官方原件与平台抽好的表要能逐字段对账,又不能混进同一列。 +成绩列名各校写法杂(政治理论/思想政治理论/政治;外国语/外语/英语(一)), +一律按关键词归到 politics / foreign / biz1 / biz2 / total 五个槽,不按位置认。 +""" +import glob +import json +import os +import re +import statistics + +CACHE = r'D:/择校/运行暂存/agent_ingest_20261031/grid_cache' +MANIFEST = r'D:/择校/运行暂存/official_roster_2025_2026/download_manifest.csv' +OUT = r'D:/择校/运行暂存/agent_ingest_20261031/cand_orr.json' +DIAG = r'D:/择校/运行暂存/agent_ingest_20261031/orr_diag.txt' + +CODE_RE = re.compile(r'(?]=?\s*\d') # 「≥41」这类校线/国家线行,不是学生行 + + +def clean(s): + import unicodedata + t = re.sub(r'\s+', '', str(s or '')) + out = [] + for ch in t: + if 0xFF01 <= ord(ch) <= 0xFF5E or 0x3000 <= ord(ch) <= 0x303F: + out.append(ch) + else: + o = unicodedata.normalize('NFKC', ch) + out.append(o if len(o) == 1 and 0x4E00 <= ord(o) <= 0x9FFF else ch) + return ''.join(out) + + +def slot(c): + if re.search(r'政治|思想政治', c): + return 'politics' + if re.search(r'外国语|^外语$|英语|日语|俄语|德语|法语', c): + return 'foreign' + if re.search(r'业务课?1|业务课?一|专业课\s*1|专业基础', c): + return 'biz1' + if re.search(r'业务课?2|业务课?二|专业课\s*2', c): + return 'biz2' + if re.search(r'^(总分|初试总分|初试总成绩|总成绩|联考(总成绩|成绩)|初试成绩)$', c): + return 'total' + return None + + +def header_map(cells): + m = {} + for i, c in enumerate(cells): + if not c: + continue + if 'code' not in m and re.search(r'专业代码|报考专业代码', c): + m['code'] = i + elif 'name' not in m and re.search(r'^(报考)?(专业|学科)(名称|全称)?$|专业$|^(报考)?专业$', c): + m['name'] = i + elif 'id' not in m and re.search(r'考生编号|准考证号', c): + m['id'] = i + elif 'person' not in m and re.search(r'^(考生)?姓名$', c): + m['person'] = i + elif 'direction' not in m and re.search(r'方向(名称|码)?$', c): + m['direction'] = i + else: + s = slot(c) + if s and s not in m: + m[s] = i + return m + + +def is_header(cells): + j = '|'.join(cells) + return bool(re.search(r'考生编号|姓名|专业代码|总分|政治', j)) and \ + not re.search(r'\d{15}', j) and not CODE_RE.search( + re.sub(r'(政治|外语|英语|总分|编号|成绩)', '', j)) + + +def num(v): + v = (v or '').replace(' ', '') + m = re.match(r'^(\d{2,3}(?:\.\d+)?)$', v) + return float(m.group(1)) if m else None + + +def load_manifest(): + import csv + idx = {} + with open(MANIFEST, encoding='utf-8-sig', newline='') as f: + for r in csv.DictReader(f): + lp = (r.get('local_path') or '').replace('\\', '/') + if not lp: + continue + idx[os.path.basename(lp)] = r + return idx + + +SCHOOL_RE = re.compile(r'([一-龥]{2,14}(?:大学|学院|研究院|党校|社会科学院))') + + +def parse(path, midx): + d = json.load(open(path, encoding='utf-8')) + fname = d['file'] + man = midx.get(fname, {}) + school, year, kind = man.get('school', ''), man.get('year', ''), man.get('kind', '复试名单') + if not year: + my = re.search(r'(20\d{2})', fname) + year = my.group(1) if my else '' + if not school: # manifest 没覆盖这份,退回标题行与 URL + for g in d['pages'][:1]: + for r in g[:1]: + m = SCHOOL_RE.search(clean('|'.join(str(x) for x in r))) + if m: + school = m.group(1) + break + if not school: + m = SCHOOL_RE.search(man.get('url', '')) + school = m.group(1) if m else '' + rows, hm = [], None + n_thr = 0 + for grid in d['pages']: + for raw in grid: + cells = [clean(c) for c in raw] + if not any(cells): + continue + if is_header(cells): + cand = header_map(cells) + if cand: + hm = cand + continue + if hm is None: + continue + joined = '|'.join(cells) + if any(w in joined for w in ('汇总', '合计', '小计')): + continue + if THRESHOLD.search(cells[1] if len(cells) > 1 else '') or \ + any(THRESHOLD.search(c) for c in cells[:3]): + n_thr += 1 + continue + idv = at(hm, cells, 'id') + person = at(hm, cells, 'person') + if not (STU_ID.search(joined) or idv or (person and len(person) <= 8)): + continue + code = '' + cv = at(hm, cells, 'code') + if cv: + m = CODE_RE.search(cv) + code = m.group(1) if m else '' + name = at(hm, cells, 'name') + if not code and name: + m = CODE_RE.search(name) + if m: + code = m.group(1) + name = name.split(code, 1)[-1] or name + if not name and cv: + name = CODE_RE.sub('', cv) + scores = {k: num(at(hm, cells, k)) for k in + ('politics', 'foreign', 'biz1', 'biz2', 'total')} + rows.append(dict(school=school, year=year, + list_kind=kind, major_code=code, major_name=name, + direction=at(hm, cells, 'direction'), college='', + scores=scores, source_url=man.get('url', ''), + sha256=man.get('sha256', ''), local_file=fname)) + return rows, n_thr, (school, year, kind) + + +def at(hm, cells, k): + i = hm.get(k) + if i is None or i >= len(cells): + return '' + return cells[i] + + +def aggregate(rows): + g = {} + for r in rows: + k = (r['school'], r['year'], r['list_kind'], r['major_code'], r['major_name']) + g.setdefault(k, []).append(r) + out = [] + for k, v in g.items(): + rec = dict(zip(('school', 'year', 'list_kind', 'major_code', 'major_name'), k)) + if not rec['major_code'] and not rec['major_name']: + rec['note'] = '原表无专业列,人数与成绩是校级合计' + elif not rec['major_code']: + rec['note'] = '原表无专业代码,按名称关联' + rec['person_count'] = str(len(v)) + for s in ('politics', 'foreign', 'biz1', 'biz2', 'total'): + vals = [x['scores'][s] for x in v if x['scores'].get(s) is not None] + if not vals: + continue + rec[s + '_min'] = '%g' % min(vals) + rec[s + '_max'] = '%g' % max(vals) + rec[s + '_median'] = '%g' % statistics.median(vals) + rec['source_url'] = v[0]['source_url'] + rec['local_file'] = v[0]['local_file'] + rec['sha256'] = v[0]['sha256'] + rec['directions'] = str(len({x['direction'] for x in v if x['direction']})) + out.append(rec) + return out + + +def main(): + midx = load_manifest() + all_rows, alldiag = [], [] + for p in sorted(glob.glob(os.path.join(CACHE, 'orr_*.json'))): + try: + rows, n_thr, meta = parse(p, midx) + except Exception as e: + alldiag.append('%s FAIL %s' % (os.path.basename(p), e)) + continue + rows = [r for r in rows if r['school']] + agg = aggregate(rows) + all_rows += agg + alldiag.append('%-24s %-14s %-9s 行=%-5d 专业键=%-4d 门槛行=%d' % ( + os.path.basename(p)[4:], meta[0], meta[2], len(rows), len(agg), n_thr)) + with open(OUT, 'w', encoding='utf-8') as f: + json.dump(all_rows, f, ensure_ascii=False, indent=1) + with open(DIAG, 'w', encoding='utf-8') as f: + f.write('\n'.join(alldiag)) + print('\n'.join(alldiag)) + print('out rows=%d' % len(all_rows)) + + +if __name__ == '__main__': + main()