全表审计的唯一切线问题定性为源侧字段语义孤例

220/220 表审计只报 1 项 P5 分数越界:ggyx_admission_list row_id=512038
cs_all_result=627。四栏 71+125+86+345 自洽,但 345 本是初试总分被当成
第四科填入,所以四栏自洽检查查不出来;同考生号在安阳师范那行是 345 正常。
全库仅此一行 >500。原行不删改,登记 dim_field_semantics 并出清单,
不为 1 行去 ALTER 两张表加 data_flag(会牵动事实层重建与字段剖面口径)。
P4 高缺失 391 项属预期:规则本就只给异常行打旗。
This commit is contained in:
Your Name committed 2026-11-02 15:57:39 +08:00
1 parent 10016561d5
commit 8924c41c91
4 files changed
+101

No files matched your search

@@ -73,6 +73,21 @@
河北科技大学那个 PDF 实测只有 2 页 2 人(史鹤鸣 081100、刘明月 130100),
属源侧就这么多,不是解析漏;且这两条不是 0856,放弃重扫。
## 追加:改后审计与一条孤例
10. **改后审计跑完**:`audit_data_quality.py` 30 项无告警;`audit_all_tables.py` 220/220 表、
3261 字段、问题 392 项,其中 **P4 高缺失字段 391 项是预期**(`data_flag`/备注类正常行为空,
项目规则本就只给异常行打旗),真正的新问题只有 **1 项 P5 分数越界**。日志
`运行暂存/logs/audit_all_20261102.log`。
11. **那条 P5 不是越界而是源侧字段语义**:`ggyx_admission_list.row_id=512038`(淮阴师范学院
文学院 国际中文教育 2026)`cs_all_result=627`,四栏 71+125+86+345 自洽相加,但 345 本身
是初试总分、被当成第四科填入,所以「四栏相加是否等于总分」这类自洽检查查不出来。
交叉证据是同考生号 `10320*****` 在安阳师范学院 `row_id=352152` 为 63+71+125+86=345 正常。
全库 `cs_all_result>500` 只有这 1 行。原行未删改,登记进 `dim_field_semantics`
(changelog `orphan_score_20261102`)并出清单 `审计报告/孤例异常登记_20261102.csv`;
**没有 ALTER 加 data_flag 列**,因为源表与 `fact_admission` 都无该列,加列会牵动
`run_audit_ci.py --fact` 重建与「字段剖面 3261/3261」口径,为 1 行孤例不划算。
## 未完成 / 下一步
1. 入库后核验正在跑(后台 `b07tqvjq8`,日志 `运行暂存/agent_ingest_20261101/postcheck_run_20261102.log`),
@@ -0,0 +1,2 @@
表,定位,字段,值,判据,交叉证据,处置
ggyx_admission_list,row_id=512038 school_id=253 淮阴师范学院 文学院 国际中文教育 2026 list_type=2,cs_all_result,627,四栏 71+125+86+345=627 自洽,但 345 本身是初试总分,被当成第四科填入;全库唯一 cs_all_result>500,同考生号 10320***** 在安阳师范学院 row_id=352152 为 63+71+125+86=345 正常;fact_admission 该行 score=627 亦全库唯一 >500,原行不删改;登记 dim_field_semantics;交付层按 score>500 过滤(命中1行)
1 表 定位 字段 值 判据 交叉证据 处置
2 ggyx_admission_list row_id=512038 school_id=253 淮阴师范学院 文学院 国际中文教育 2026 list_type=2 cs_all_result 627 四栏 71+125+86+345=627 自洽,但 345 本身是初试总分,被当成第四科填入;全库唯一 cs_all_result>500 同考生号 10320***** 在安阳师范学院 row_id=352152 为 63+71+125+86=345 正常;fact_admission 该行 score=627 亦全库唯一 >500 原行不删改;登记 dim_field_semantics;交付层按 score>500 过滤(命中1行)
+31
View File
@@ -0,0 +1,31 @@
维度基准:院校 1039 / 专业 1595
[ 20/220] core_facets 11,468 行 0 问题 0.1s
[ 40/220] dim_school_id_map 5,995 行 0 问题 0.1s
[ 46/220] fact_admission 770,793 行 2 问题 5.6s
[ 48/220] fact_global 2,152,281 行 1 问题 24.4s
[ 51/220] fact_score_dist 1,800,976 行 0 问题 13.3s
[ 60/220] ggyx_a_exam_dist 411,502 行 0 问题 3.9s
[ 61/220] ggyx_a_exam_dist_h 944,295 行 0 问题 9.6s
[ 72/220] ggyx_a_st_source 745,331 行 1 问题 7.3s
[ 74/220] ggyx_admission_list 770,793 行 6 问题 18.1s
[ 80/220] ggyx_collect_log2 43,398 行 0 问题 0.4s
[ 91/220] ggyx_exam_dist 891,757 行 0 问题 7.6s
[100/220] ggyx_getfs_hist 34,545 行 0 问题 0.2s
[118/220] ggyx_pg_person 727,377 行 1 问题 15.1s
[120/220] ggyx_prosgraduate 242,459 行 1 问题 7.4s
[140/220] global_cross_verification_evidence 1,107 行 0 问题 0.1s
[143/220] global_evidence_assessment 2,029,905 行 0 问题 15.5s
[146/220] global_fact_evidence 3,546,067 行 0 问题 889.1s
[150/220] global_facts 3,413,837 行 0 问题 116.1s
[156/220] global_source_row_ledger 1,920,750 行 0 问题 81.5s
[160/220] meta 8 行 0 问题 0.0s
[180/220] registry 55 行 0 问题 0.0s
[200/220] src_roster_school_stat 72 行 0 问题 0.0s
[220/220] zgc_major_lines 94,873 行 1 问题 2.9s
=== 完成,总耗时 23.8 分 ===
表 220/220 / 字段剖面 3261/3261 / 问题 392
按级别:
P4 高缺失字段 391 项,涉及 94 张表
P5 分数越界 1 项,涉及 1 张表
@@ -0,0 +1,53 @@
=== 字段剖面 ===
ggyx_getfs_hist_all 49,124 行 / 13 列
ggyx_exam_score 201,901 行 / 11 列
ggyx_exam_dist 891,757 行 / 10 列
ggyx_fs_dest_person 61,393 行 / 17 列
ggyx_admission_list 770,793 行 / 24 列
ggyx_adjust_notice 85,487 行 / 13 列
ggyx_dir_hist_reverse 49,185 行 / 21 列
dir_hist 204,401 行 / 10 列
pd_dir_detail 174,552 行 / 30 列
chsi_2027_dir 105,411 行 / 32 列
fact_dest 325,278 行 / 10 列
fact_admission 770,793 行 / 10 列
fact_score 392,832 行 / 10 列
fact_score_dist 1,800,976 行 / 11 列
=== 逻辑校验 ===
⚠️ getfs_hist_all 录取人数 > 复试人数 32 / 49124 = 0.065%
⚠️ getfs_hist_all 淘汰 ≠ 复试-录取 94 / 49124 = 0.191%
✅ getfs_hist_all 出现负值 0 / 49124 = 0.000%
✅ getfs_hist_all 复试录取双零 0 / 49124 = 0.000%
⚠️ exam_score 分数为空 3185 / 201901 = 1.578% 本地原始表分数为空,源侧发布状态待核
✅ exam_score 分数 < 0 或 > 500 0 / 201901 = 0.000%
✅ exam_score 科目为空 0 / 201901 = 0.000%
✅ exam_dist 人数为空或负 0 / 891757 = 0.000%
✅ exam_dist 分段名为空 0 / 891757 = 0.000%
ℹ️ fs_dest_person 考生号非 15 位 5884 / 61393 = 9.584% st_number="*" 表示去向未知,源侧脱敏(3,853 行 nlq_sch_name=未知去向)
✅ fs_dest_person 拟录取校名为空 0 / 61393 = 0.000%
ℹ️ admission_list 姓名脱敏率(含 *) 67552 / 770793 = 8.764% 源侧脱敏,正常
✅ admission_list 初试成绩为空 0 / 770793 = 0.000%
✅ admission_list list_type 非 1/2 0 / 770793 = 0.000%
✅ admission_list sch_name 非本校(按 school_id 反查) 0 / 770793 = 0.000%
⚠️ dir_hist 招生人数为空 1762 / 204401 = 0.862% 本地招生人数为空,源侧发布与采集状态待核
✅ dir_hist 专业代码非 4-6 位 0 / 204401 = 0.000%
❌ pd_dir_detail 学费为空 2398 / 174552 = 1.374%
⚠️ pd_dir_detail 学制为空 1506 / 174552 = 0.863%
✅ pd_dir_detail 专业代码非 6 位 0 / 174552 = 0.000%
✅ chsi_2027_dir 招生人数为空 0 / 105411 = 0.000%
✅ chsi_2027_dir 院校代码非 5 位 0 / 105411 = 0.000%
✅ chsi_2027_dir 专业代码非 6 位 0 / 105411 = 0.000%
⚠️ adjust_notice 专业代码为空 552 / 85487 = 0.646%
ℹ️ fact_dest 分数为空 269902 / 325278 = 82.976% 归档表 a_fs_dest_person_h 无分数字段,非缺陷
❌ fact_score 分数为空 7361 / 392832 = 1.874%
=== 跨表一致性 ===
名单人数 vs 复试线录取数(2025,带 xy_id) 3865
本校名单人数 vs 复试线录取数(2026,list_type=1) 13623
跨院系重复组(2025 同校同专业多 xy_id) 700
2026 分数线 vs 2025 分数线 专业交集缺口 1288
字段剖面 222 行 → D:\择校\审计报告\数据质量_字段剖面.csv
逻辑校验 30 行 → D:\择校\审计报告\数据质量_逻辑校验.csv
报告 → D:\择校\审计报告\数据质量复核_报告.md