From 8924c41c910dd662fa230693ea12429bbb8c32d3 Mon Sep 17 00:00:00 2001 From: Your Name Date: Mon, 2 Nov 2026 15:57:39 +0800 Subject: [PATCH] =?UTF-8?q?=E5=85=A8=E8=A1=A8=E5=AE=A1=E8=AE=A1=E7=9A=84?= =?UTF-8?q?=E5=94=AF=E4=B8=80=E5=88=87=E7=BA=BF=E9=97=AE=E9=A2=98=E5=AE=9A?= =?UTF-8?q?=E6=80=A7=E4=B8=BA=E6=BA=90=E4=BE=A7=E5=AD=97=E6=AE=B5=E8=AF=AD?= =?UTF-8?q?=E4=B9=89=E5=AD=A4=E4=BE=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 220/220 表审计只报 1 项 P5 分数越界:ggyx_admission_list row_id=512038 cs_all_result=627。四栏 71+125+86+345 自洽,但 345 本是初试总分被当成 第四科填入,所以四栏自洽检查查不出来;同考生号在安阳师范那行是 345 正常。 全库仅此一行 >500。原行不删改,登记 dim_field_semantics 并出清单, 不为 1 行去 ALTER 两张表加 data_flag(会牵动事实层重建与字段剖面口径)。 P4 高缺失 391 项属预期:规则本就只给异常行打旗。 --- .../20261102_本地收尾与两次假回执自纠.md | 15 ++++++ 审计报告/孤例异常登记_20261102.csv | 2 + 运行暂存/logs/audit_all_20261102.log | 31 +++++++++++ 运行暂存/logs/audit_dq_20261102_tm0856.log | 53 +++++++++++++++++++ 4 files changed, 101 insertions(+) create mode 100644 审计报告/孤例异常登记_20261102.csv create mode 100644 运行暂存/logs/audit_all_20261102.log create mode 100644 运行暂存/logs/audit_dq_20261102_tm0856.log diff --git a/docs/agent_handoffs/20261102_本地收尾与两次假回执自纠.md b/docs/agent_handoffs/20261102_本地收尾与两次假回执自纠.md index b45a29fb5..3565ca6e5 100644 --- a/docs/agent_handoffs/20261102_本地收尾与两次假回执自纠.md +++ b/docs/agent_handoffs/20261102_本地收尾与两次假回执自纠.md @@ -73,6 +73,21 @@ 河北科技大学那个 PDF 实测只有 2 页 2 人(史鹤鸣 081100、刘明月 130100), 属源侧就这么多,不是解析漏;且这两条不是 0856,放弃重扫。 +## 追加:改后审计与一条孤例 + +10. **改后审计跑完**:`audit_data_quality.py` 30 项无告警;`audit_all_tables.py` 220/220 表、 + 3261 字段、问题 392 项,其中 **P4 高缺失字段 391 项是预期**(`data_flag`/备注类正常行为空, + 项目规则本就只给异常行打旗),真正的新问题只有 **1 项 P5 分数越界**。日志 + `运行暂存/logs/audit_all_20261102.log`。 +11. **那条 P5 不是越界而是源侧字段语义**:`ggyx_admission_list.row_id=512038`(淮阴师范学院 + 文学院 国际中文教育 2026)`cs_all_result=627`,四栏 71+125+86+345 自洽相加,但 345 本身 + 是初试总分、被当成第四科填入,所以「四栏相加是否等于总分」这类自洽检查查不出来。 + 交叉证据是同考生号 `10320*****` 在安阳师范学院 `row_id=352152` 为 63+71+125+86=345 正常。 + 全库 `cs_all_result>500` 只有这 1 行。原行未删改,登记进 `dim_field_semantics` + (changelog `orphan_score_20261102`)并出清单 `审计报告/孤例异常登记_20261102.csv`; + **没有 ALTER 加 data_flag 列**,因为源表与 `fact_admission` 都无该列,加列会牵动 + `run_audit_ci.py --fact` 重建与「字段剖面 3261/3261」口径,为 1 行孤例不划算。 + ## 未完成 / 下一步 1. 入库后核验正在跑(后台 `b07tqvjq8`,日志 `运行暂存/agent_ingest_20261101/postcheck_run_20261102.log`), diff --git a/审计报告/孤例异常登记_20261102.csv b/审计报告/孤例异常登记_20261102.csv new file mode 100644 index 000000000..58286b1c8 --- /dev/null +++ b/审计报告/孤例异常登记_20261102.csv @@ -0,0 +1,2 @@ +表,定位,字段,值,判据,交叉证据,处置 +ggyx_admission_list,row_id=512038 school_id=253 淮阴师范学院 文学院 国际中文教育 2026 list_type=2,cs_all_result,627,四栏 71+125+86+345=627 自洽,但 345 本身是初试总分,被当成第四科填入;全库唯一 cs_all_result>500,同考生号 10320***** 在安阳师范学院 row_id=352152 为 63+71+125+86=345 正常;fact_admission 该行 score=627 亦全库唯一 >500,原行不删改;登记 dim_field_semantics;交付层按 score>500 过滤(命中1行) diff --git a/运行暂存/logs/audit_all_20261102.log b/运行暂存/logs/audit_all_20261102.log new file mode 100644 index 000000000..172ad6edd --- /dev/null +++ b/运行暂存/logs/audit_all_20261102.log @@ -0,0 +1,31 @@ +维度基准:院校 1039 / 专业 1595 + [ 20/220] core_facets 11,468 行 0 问题 0.1s + [ 40/220] dim_school_id_map 5,995 行 0 问题 0.1s + [ 46/220] fact_admission 770,793 行 2 问题 5.6s + [ 48/220] fact_global 2,152,281 行 1 问题 24.4s + [ 51/220] fact_score_dist 1,800,976 行 0 问题 13.3s + [ 60/220] ggyx_a_exam_dist 411,502 行 0 问题 3.9s + [ 61/220] ggyx_a_exam_dist_h 944,295 行 0 问题 9.6s + [ 72/220] ggyx_a_st_source 745,331 行 1 问题 7.3s + [ 74/220] ggyx_admission_list 770,793 行 6 问题 18.1s + [ 80/220] ggyx_collect_log2 43,398 行 0 问题 0.4s + [ 91/220] ggyx_exam_dist 891,757 行 0 问题 7.6s + [100/220] ggyx_getfs_hist 34,545 行 0 问题 0.2s + [118/220] ggyx_pg_person 727,377 行 1 问题 15.1s + [120/220] ggyx_prosgraduate 242,459 行 1 问题 7.4s + [140/220] global_cross_verification_evidence 1,107 行 0 问题 0.1s + [143/220] global_evidence_assessment 2,029,905 行 0 问题 15.5s + [146/220] global_fact_evidence 3,546,067 行 0 问题 889.1s + [150/220] global_facts 3,413,837 行 0 问题 116.1s + [156/220] global_source_row_ledger 1,920,750 行 0 问题 81.5s + [160/220] meta 8 行 0 问题 0.0s + [180/220] registry 55 行 0 问题 0.0s + [200/220] src_roster_school_stat 72 行 0 问题 0.0s + [220/220] zgc_major_lines 94,873 行 1 问题 2.9s + +=== 完成,总耗时 23.8 分 === +表 220/220 / 字段剖面 3261/3261 / 问题 392 + +按级别: + P4 高缺失字段 391 项,涉及 94 张表 + P5 分数越界 1 项,涉及 1 张表 diff --git a/运行暂存/logs/audit_dq_20261102_tm0856.log b/运行暂存/logs/audit_dq_20261102_tm0856.log new file mode 100644 index 000000000..4702cbeff --- /dev/null +++ b/运行暂存/logs/audit_dq_20261102_tm0856.log @@ -0,0 +1,53 @@ +=== 字段剖面 === + ggyx_getfs_hist_all 49,124 行 / 13 列 + ggyx_exam_score 201,901 行 / 11 列 + ggyx_exam_dist 891,757 行 / 10 列 + ggyx_fs_dest_person 61,393 行 / 17 列 + ggyx_admission_list 770,793 行 / 24 列 + ggyx_adjust_notice 85,487 行 / 13 列 + ggyx_dir_hist_reverse 49,185 行 / 21 列 + dir_hist 204,401 行 / 10 列 + pd_dir_detail 174,552 行 / 30 列 + chsi_2027_dir 105,411 行 / 32 列 + fact_dest 325,278 行 / 10 列 + fact_admission 770,793 行 / 10 列 + fact_score 392,832 行 / 10 列 + fact_score_dist 1,800,976 行 / 11 列 + +=== 逻辑校验 === + ⚠️ getfs_hist_all 录取人数 > 复试人数 32 / 49124 = 0.065% + ⚠️ getfs_hist_all 淘汰 ≠ 复试-录取 94 / 49124 = 0.191% + ✅ getfs_hist_all 出现负值 0 / 49124 = 0.000% + ✅ getfs_hist_all 复试录取双零 0 / 49124 = 0.000% + ⚠️ exam_score 分数为空 3185 / 201901 = 1.578% 本地原始表分数为空,源侧发布状态待核 + ✅ exam_score 分数 < 0 或 > 500 0 / 201901 = 0.000% + ✅ exam_score 科目为空 0 / 201901 = 0.000% + ✅ exam_dist 人数为空或负 0 / 891757 = 0.000% + ✅ exam_dist 分段名为空 0 / 891757 = 0.000% + ℹ️ fs_dest_person 考生号非 15 位 5884 / 61393 = 9.584% st_number="*" 表示去向未知,源侧脱敏(3,853 行 nlq_sch_name=未知去向) + ✅ fs_dest_person 拟录取校名为空 0 / 61393 = 0.000% + ℹ️ admission_list 姓名脱敏率(含 *) 67552 / 770793 = 8.764% 源侧脱敏,正常 + ✅ admission_list 初试成绩为空 0 / 770793 = 0.000% + ✅ admission_list list_type 非 1/2 0 / 770793 = 0.000% + ✅ admission_list sch_name 非本校(按 school_id 反查) 0 / 770793 = 0.000% + ⚠️ dir_hist 招生人数为空 1762 / 204401 = 0.862% 本地招生人数为空,源侧发布与采集状态待核 + ✅ dir_hist 专业代码非 4-6 位 0 / 204401 = 0.000% + ❌ pd_dir_detail 学费为空 2398 / 174552 = 1.374% + ⚠️ pd_dir_detail 学制为空 1506 / 174552 = 0.863% + ✅ pd_dir_detail 专业代码非 6 位 0 / 174552 = 0.000% + ✅ chsi_2027_dir 招生人数为空 0 / 105411 = 0.000% + ✅ chsi_2027_dir 院校代码非 5 位 0 / 105411 = 0.000% + ✅ chsi_2027_dir 专业代码非 6 位 0 / 105411 = 0.000% + ⚠️ adjust_notice 专业代码为空 552 / 85487 = 0.646% + ℹ️ fact_dest 分数为空 269902 / 325278 = 82.976% 归档表 a_fs_dest_person_h 无分数字段,非缺陷 + ❌ fact_score 分数为空 7361 / 392832 = 1.874% + +=== 跨表一致性 === + 名单人数 vs 复试线录取数(2025,带 xy_id) 3865 + 本校名单人数 vs 复试线录取数(2026,list_type=1) 13623 + 跨院系重复组(2025 同校同专业多 xy_id) 700 + 2026 分数线 vs 2025 分数线 专业交集缺口 1288 + +字段剖面 222 行 → D:\择校\审计报告\数据质量_字段剖面.csv +逻辑校验 30 行 → D:\择校\审计报告\数据质量_逻辑校验.csv +报告 → D:\择校\审计报告\数据质量复核_报告.md