全表审计的唯一切线问题定性为源侧字段语义孤例
220/220 表审计只报 1 项 P5 分数越界:ggyx_admission_list row_id=512038 cs_all_result=627。四栏 71+125+86+345 自洽,但 345 本是初试总分被当成 第四科填入,所以四栏自洽检查查不出来;同考生号在安阳师范那行是 345 正常。 全库仅此一行 >500。原行不删改,登记 dim_field_semantics 并出清单, 不为 1 行去 ALTER 两张表加 data_flag(会牵动事实层重建与字段剖面口径)。 P4 高缺失 391 项属预期:规则本就只给异常行打旗。
This commit is contained in:
1 parent
10016561d5
commit
8924c41c91
4 files changed
+101
No files matched your search
@@ -73,6 +73,21 @@
|
||||
河北科技大学那个 PDF 实测只有 2 页 2 人(史鹤鸣 081100、刘明月 130100),
|
||||
属源侧就这么多,不是解析漏;且这两条不是 0856,放弃重扫。
|
||||
|
||||
## 追加:改后审计与一条孤例
|
||||
|
||||
10. **改后审计跑完**:`audit_data_quality.py` 30 项无告警;`audit_all_tables.py` 220/220 表、
|
||||
3261 字段、问题 392 项,其中 **P4 高缺失字段 391 项是预期**(`data_flag`/备注类正常行为空,
|
||||
项目规则本就只给异常行打旗),真正的新问题只有 **1 项 P5 分数越界**。日志
|
||||
`运行暂存/logs/audit_all_20261102.log`。
|
||||
11. **那条 P5 不是越界而是源侧字段语义**:`ggyx_admission_list.row_id=512038`(淮阴师范学院
|
||||
文学院 国际中文教育 2026)`cs_all_result=627`,四栏 71+125+86+345 自洽相加,但 345 本身
|
||||
是初试总分、被当成第四科填入,所以「四栏相加是否等于总分」这类自洽检查查不出来。
|
||||
交叉证据是同考生号 `10320*****` 在安阳师范学院 `row_id=352152` 为 63+71+125+86=345 正常。
|
||||
全库 `cs_all_result>500` 只有这 1 行。原行未删改,登记进 `dim_field_semantics`
|
||||
(changelog `orphan_score_20261102`)并出清单 `审计报告/孤例异常登记_20261102.csv`;
|
||||
**没有 ALTER 加 data_flag 列**,因为源表与 `fact_admission` 都无该列,加列会牵动
|
||||
`run_audit_ci.py --fact` 重建与「字段剖面 3261/3261」口径,为 1 行孤例不划算。
|
||||
|
||||
## 未完成 / 下一步
|
||||
|
||||
1. 入库后核验正在跑(后台 `b07tqvjq8`,日志 `运行暂存/agent_ingest_20261101/postcheck_run_20261102.log`),
|
||||
|
||||
@@ -0,0 +1,2 @@
|
||||
表,定位,字段,值,判据,交叉证据,处置
|
||||
ggyx_admission_list,row_id=512038 school_id=253 淮阴师范学院 文学院 国际中文教育 2026 list_type=2,cs_all_result,627,四栏 71+125+86+345=627 自洽,但 345 本身是初试总分,被当成第四科填入;全库唯一 cs_all_result>500,同考生号 10320***** 在安阳师范学院 row_id=352152 为 63+71+125+86=345 正常;fact_admission 该行 score=627 亦全库唯一 >500,原行不删改;登记 dim_field_semantics;交付层按 score>500 过滤(命中1行)
|
||||
|
@@ -0,0 +1,31 @@
|
||||
维度基准:院校 1039 / 专业 1595
|
||||
[ 20/220] core_facets 11,468 行 0 问题 0.1s
|
||||
[ 40/220] dim_school_id_map 5,995 行 0 问题 0.1s
|
||||
[ 46/220] fact_admission 770,793 行 2 问题 5.6s
|
||||
[ 48/220] fact_global 2,152,281 行 1 问题 24.4s
|
||||
[ 51/220] fact_score_dist 1,800,976 行 0 问题 13.3s
|
||||
[ 60/220] ggyx_a_exam_dist 411,502 行 0 问题 3.9s
|
||||
[ 61/220] ggyx_a_exam_dist_h 944,295 行 0 问题 9.6s
|
||||
[ 72/220] ggyx_a_st_source 745,331 行 1 问题 7.3s
|
||||
[ 74/220] ggyx_admission_list 770,793 行 6 问题 18.1s
|
||||
[ 80/220] ggyx_collect_log2 43,398 行 0 问题 0.4s
|
||||
[ 91/220] ggyx_exam_dist 891,757 行 0 问题 7.6s
|
||||
[100/220] ggyx_getfs_hist 34,545 行 0 问题 0.2s
|
||||
[118/220] ggyx_pg_person 727,377 行 1 问题 15.1s
|
||||
[120/220] ggyx_prosgraduate 242,459 行 1 问题 7.4s
|
||||
[140/220] global_cross_verification_evidence 1,107 行 0 问题 0.1s
|
||||
[143/220] global_evidence_assessment 2,029,905 行 0 问题 15.5s
|
||||
[146/220] global_fact_evidence 3,546,067 行 0 问题 889.1s
|
||||
[150/220] global_facts 3,413,837 行 0 问题 116.1s
|
||||
[156/220] global_source_row_ledger 1,920,750 行 0 问题 81.5s
|
||||
[160/220] meta 8 行 0 问题 0.0s
|
||||
[180/220] registry 55 行 0 问题 0.0s
|
||||
[200/220] src_roster_school_stat 72 行 0 问题 0.0s
|
||||
[220/220] zgc_major_lines 94,873 行 1 问题 2.9s
|
||||
|
||||
=== 完成,总耗时 23.8 分 ===
|
||||
表 220/220 / 字段剖面 3261/3261 / 问题 392
|
||||
|
||||
按级别:
|
||||
P4 高缺失字段 391 项,涉及 94 张表
|
||||
P5 分数越界 1 项,涉及 1 张表
|
||||
@@ -0,0 +1,53 @@
|
||||
=== 字段剖面 ===
|
||||
ggyx_getfs_hist_all 49,124 行 / 13 列
|
||||
ggyx_exam_score 201,901 行 / 11 列
|
||||
ggyx_exam_dist 891,757 行 / 10 列
|
||||
ggyx_fs_dest_person 61,393 行 / 17 列
|
||||
ggyx_admission_list 770,793 行 / 24 列
|
||||
ggyx_adjust_notice 85,487 行 / 13 列
|
||||
ggyx_dir_hist_reverse 49,185 行 / 21 列
|
||||
dir_hist 204,401 行 / 10 列
|
||||
pd_dir_detail 174,552 行 / 30 列
|
||||
chsi_2027_dir 105,411 行 / 32 列
|
||||
fact_dest 325,278 行 / 10 列
|
||||
fact_admission 770,793 行 / 10 列
|
||||
fact_score 392,832 行 / 10 列
|
||||
fact_score_dist 1,800,976 行 / 11 列
|
||||
|
||||
=== 逻辑校验 ===
|
||||
⚠️ getfs_hist_all 录取人数 > 复试人数 32 / 49124 = 0.065%
|
||||
⚠️ getfs_hist_all 淘汰 ≠ 复试-录取 94 / 49124 = 0.191%
|
||||
✅ getfs_hist_all 出现负值 0 / 49124 = 0.000%
|
||||
✅ getfs_hist_all 复试录取双零 0 / 49124 = 0.000%
|
||||
⚠️ exam_score 分数为空 3185 / 201901 = 1.578% 本地原始表分数为空,源侧发布状态待核
|
||||
✅ exam_score 分数 < 0 或 > 500 0 / 201901 = 0.000%
|
||||
✅ exam_score 科目为空 0 / 201901 = 0.000%
|
||||
✅ exam_dist 人数为空或负 0 / 891757 = 0.000%
|
||||
✅ exam_dist 分段名为空 0 / 891757 = 0.000%
|
||||
ℹ️ fs_dest_person 考生号非 15 位 5884 / 61393 = 9.584% st_number="*" 表示去向未知,源侧脱敏(3,853 行 nlq_sch_name=未知去向)
|
||||
✅ fs_dest_person 拟录取校名为空 0 / 61393 = 0.000%
|
||||
ℹ️ admission_list 姓名脱敏率(含 *) 67552 / 770793 = 8.764% 源侧脱敏,正常
|
||||
✅ admission_list 初试成绩为空 0 / 770793 = 0.000%
|
||||
✅ admission_list list_type 非 1/2 0 / 770793 = 0.000%
|
||||
✅ admission_list sch_name 非本校(按 school_id 反查) 0 / 770793 = 0.000%
|
||||
⚠️ dir_hist 招生人数为空 1762 / 204401 = 0.862% 本地招生人数为空,源侧发布与采集状态待核
|
||||
✅ dir_hist 专业代码非 4-6 位 0 / 204401 = 0.000%
|
||||
❌ pd_dir_detail 学费为空 2398 / 174552 = 1.374%
|
||||
⚠️ pd_dir_detail 学制为空 1506 / 174552 = 0.863%
|
||||
✅ pd_dir_detail 专业代码非 6 位 0 / 174552 = 0.000%
|
||||
✅ chsi_2027_dir 招生人数为空 0 / 105411 = 0.000%
|
||||
✅ chsi_2027_dir 院校代码非 5 位 0 / 105411 = 0.000%
|
||||
✅ chsi_2027_dir 专业代码非 6 位 0 / 105411 = 0.000%
|
||||
⚠️ adjust_notice 专业代码为空 552 / 85487 = 0.646%
|
||||
ℹ️ fact_dest 分数为空 269902 / 325278 = 82.976% 归档表 a_fs_dest_person_h 无分数字段,非缺陷
|
||||
❌ fact_score 分数为空 7361 / 392832 = 1.874%
|
||||
|
||||
=== 跨表一致性 ===
|
||||
名单人数 vs 复试线录取数(2025,带 xy_id) 3865
|
||||
本校名单人数 vs 复试线录取数(2026,list_type=1) 13623
|
||||
跨院系重复组(2025 同校同专业多 xy_id) 700
|
||||
2026 分数线 vs 2025 分数线 专业交集缺口 1288
|
||||
|
||||
字段剖面 222 行 → D:\择校\审计报告\数据质量_字段剖面.csv
|
||||
逻辑校验 30 行 → D:\择校\审计报告\数据质量_逻辑校验.csv
|
||||
报告 → D:\择校\审计报告\数据质量复核_报告.md
|
||||
Reference in new issue
Block a user