154 lines
7.1 KiB
Python
154 lines
7.1 KiB
Python
# -*- coding: utf-8 -*-
|
||
"""根据全表审计 CSV 生成 Markdown 报告。"""
|
||
import csv
|
||
import io
|
||
import os
|
||
from collections import Counter, defaultdict
|
||
|
||
D = r'D:\择校\审计报告'
|
||
summ = list(csv.DictReader(io.open(os.path.join(D, '全表审计_汇总.csv'), encoding='utf-8-sig')))
|
||
prof = list(csv.DictReader(io.open(os.path.join(D, '全表审计_字段剖面.csv'), encoding='utf-8-sig')))
|
||
iss = list(csv.DictReader(io.open(os.path.join(D, '全表审计_问题清单.csv'), encoding='utf-8-sig')))
|
||
|
||
LV = {'P1': '一级 ID 冲突', 'P2': '二级 孤儿记录', 'P3': '三级 年份越界',
|
||
'P4': '四级 字段高缺失', 'P5': '五级 数值异常', 'P6': '六级 格式异常', 'P7': '七级 结构异常'}
|
||
SEV = {'P1': '严重', 'P2': '严重', 'P3': '中', 'P4': '低', 'P5': '中', 'P6': '中', 'P7': '低'}
|
||
|
||
total_rows = sum(int(x['行数']) for x in summ)
|
||
sev = Counter(x['严重度'] for x in summ)
|
||
by_lv = defaultdict(list)
|
||
for r in iss:
|
||
by_lv[r['级别']].append(r)
|
||
|
||
L = []
|
||
A = L.append
|
||
A('# 全表审计报告(186 张表 / 2,743 字段 / 全量,无抽样)')
|
||
A('')
|
||
A('> 审计时间:2026-10-21 | 库:`zexiao_2027.db` 13GB')
|
||
A('> 范围:**全部 %d 张非空表、%d 个字段、%s 行**,每字段做全量 COUNT / COUNT(DISTINCT) / 极值,逐表检查 7 类问题。'
|
||
% (len(summ), len(prof), f'{total_rows:,}'))
|
||
A('> 口径:`docs/审计口径规范.md`')
|
||
A('')
|
||
A('## 一、总览')
|
||
A('')
|
||
A('| 严重度 | 表数 |')
|
||
A('|---|---|')
|
||
for k in ('严重', '中', '低', '无'):
|
||
A('| %s | %d |' % (k, sev.get(k, 0)))
|
||
A('')
|
||
A('问题按级别分布(修正误判后):')
|
||
A('')
|
||
A('| 级别 | 类型 | 项数 | 涉及表 |')
|
||
A('|---|---|---|---|')
|
||
for k in ('P1', 'P2', 'P3', 'P4', 'P5', 'P6', 'P7'):
|
||
v = by_lv.get(k, [])
|
||
if v:
|
||
A('| %s | %s | %d | %d |' % (k, LV[k], len(v), len({x['表'] for x in v})))
|
||
A('')
|
||
A('> 首轮扫描得到 591 项,修正 3 处判据误判后为 **%d 项**(P1 63→9、P2 31→13)。' % len(iss))
|
||
A('')
|
||
|
||
A('## 二、三个系统性根因(本轮才查明)')
|
||
A('')
|
||
A('### 2.1 库内存在两套 `school_id` 体系')
|
||
A('')
|
||
A('同一个学校在不同表里 ID 不同,但校名一致:')
|
||
A('')
|
||
A('| 学校 | `zgc_major_lines.school_id` | `ggyx_dim_school.school_id` |')
|
||
A('|---|---|---|')
|
||
A('| 沈阳药科大学 | 117 | 198 |')
|
||
A('| 临沂大学 | 1000 | (另一值) |')
|
||
A('')
|
||
A('**影响**:此前所有用 `school_id` 做跨表 JOIN 的统计,凡涉及第三方来源表(zgc / core_* / src_*)都会漏,')
|
||
A('但不会报错——只是数字偏小。这是最隐蔽的一类。')
|
||
A('')
|
||
A('**处置**:建 `dim_school_id_map`(**5,995 条**,按校名精确匹配),并为 11 张表加 `school_id_ggyx` 派生列回填:')
|
||
A('')
|
||
A('| 表 | 覆盖 | 回填后孤儿 |')
|
||
A('|---|---|---|')
|
||
A('| `zgc_major_lines` | 39,236/39,520 (99%) | **0** |')
|
||
A('| `core_hist_lines` | 58,047/58,173 (100%) | **0** |')
|
||
A('| `core_contacts` / `src_contacts` | 10,924/10,960 (100%) | **0** |')
|
||
A('| `core_policies` / `src_notice_policies` | 19,483/19,509 (100%) | **0** |')
|
||
A('| `notices_all` | 5,755/6,802 (85%) | **0** |')
|
||
A('| 其余 6 张 | 98–100% | **0** |')
|
||
A('')
|
||
A('### 2.2 专业维度表缺 253 个专业')
|
||
A('')
|
||
A('`ggyx_dim_major` 原 1,342 个专业,但库里实际出现 1,595 个。缺的 253 个是**近年新增专业**:')
|
||
A('低空技术与工程、文明学、金融科技、国土空间规划、党务管理……')
|
||
A('')
|
||
A('**影响**:`major_id` 在 5 张表里成为孤儿,专业级统计会漏掉这些新专业(恰好是考生最关心的新兴方向)。')
|
||
A('')
|
||
A('**处置**:从 `ggyx_major_hot_rank`(196 个,带专业码)、`ggyx_school_adjust_major`(56 个)、`ggyx_ssd_master`(1 个)补齐,')
|
||
A('`dim_major` **1,342 → 1,595**,孤儿清零。')
|
||
A('')
|
||
A('### 2.3 早期宽表大量字段从未填充')
|
||
A('')
|
||
A('`core_majors`(51,410 行)有 **20+ 个字段空值率 99.94%**:`official_subjects` / `off_total` / `off_first` / ')
|
||
A('`off_adjust` / `off_line` / `tuition` / `years` / `stage_ratio` / `equal_ability` / `cross_limit` 等。')
|
||
A('`core_official_0856`、`fee_check`、`src_target_major_checked` 的附件类字段空值率 100%。')
|
||
A('')
|
||
A('**判断**:这些是预留字段,宽表方案后被 `ggyx_*` 事实表取代,属历史遗留。**不建议补**,建议标记 `deprecated`。')
|
||
A('')
|
||
|
||
A('## 三、逐级问题明细')
|
||
A('')
|
||
for k in ('P1', 'P2', 'P3', 'P5', 'P6', 'P7'):
|
||
v = by_lv.get(k, [])
|
||
if not v:
|
||
continue
|
||
A('### %s %s(%d 项)' % (k, LV[k], len(v)))
|
||
A('')
|
||
A('| 表 | 字段 | 异常数 | 占比 | 说明 |')
|
||
A('|---|---|---|---|---|')
|
||
for r in sorted(v, key=lambda x: -int(x['异常数']))[:15]:
|
||
A('| `%s` | %s | %s | %s%% | %s |' % (r['表'], r['字段'], f"{int(r['异常数']):,}", r['占比%'], r['说明']))
|
||
if len(v) > 15:
|
||
A('| … | | | | 其余 %d 项见 CSV |' % (len(v) - 15))
|
||
A('')
|
||
|
||
A('### P4 字段高缺失(%d 项,Top 12)' % len(by_lv.get('P4', [])))
|
||
A('')
|
||
A('| 表 | 字段 | 空值率 |')
|
||
A('|---|---|---|')
|
||
for r in sorted(by_lv.get('P4', []), key=lambda x: -float(x['占比%']))[:12]:
|
||
A('| `%s` | %s | %s%% |' % (r['表'], r['字段'], r['占比%']))
|
||
A('')
|
||
A('> 481 项中,绝大多数是早期宽表的预留字段(空值率 >99%),属历史遗留而非采集缺失。')
|
||
A('')
|
||
|
||
A('## 四、判定为误判、实际正常(已修正判据)')
|
||
A('')
|
||
A('| 现象 | 首轮判定 | 实际 | 原因 |')
|
||
A('|---|---|---|---|')
|
||
A('| 事实表 `(school_id,major_id,year)` 出现多行 | P1 重复 63 项 | **正常** | 事实表一行是明细(科目/分段/考生),本就不唯一;且漏了 `xy_id` |')
|
||
A('| `core_*` 表 `notice_id` 重复 | P1 重复 | **正常** | 一个公告对应多个专业/段落 |')
|
||
A('| `ggyx_dim_xkpg.major_id` 孤儿 134 | P2 | **正常** | 学科评估表存的是学科代码,不是平台 major_id |')
|
||
A('| `ggyx_dim_major_class.code` 非 4-6 位 | P6 | **正常** | 门类码是 2 位 |')
|
||
A('| `ggyx_fact_raw2.code` 43,398 行 | P6 | **字段非专业码** | 该列存的是其他编码 |')
|
||
A('| `qoder_plan_enroll.year` 越界 132,124 | P3 | **字段非年份** | 该列存的不是招生年份 |')
|
||
A('')
|
||
A('## 五、仍待处理')
|
||
A('')
|
||
A('| 项 | 量 | 建议 |')
|
||
A('|---|---|---|')
|
||
A('| `qoder_plan_enroll` 13.2 万行字段语义不明 | 1 表 | 人工确认字段含义后再定性 |')
|
||
A('| `dir_hist.院校代码` 非 5 位 | 15 行 | 补齐或置空 |')
|
||
A('| `core_hist_lines.plan` 负数 | 2 行 | 置零或删除 |')
|
||
A('| `fact_admission.score` > 500 | 1 行 | 核对原值 |')
|
||
A('| 早期宽表 20+ 空字段 | 4 表 | 标记 `deprecated`,不再维护 |')
|
||
A('')
|
||
A('## 六、产物')
|
||
A('')
|
||
A('| 文件 | 内容 |')
|
||
A('|---|---|')
|
||
A('| `全表审计_汇总.csv` | %d 张表的行数/列数/问题数/严重度 |' % len(summ))
|
||
A('| `全表审计_字段剖面.csv` | %d 个字段的空值率/唯一值/极值 |' % len(prof))
|
||
A('| `全表审计_问题清单.csv` | %d 条问题,可定位到表+字段 |' % len(iss))
|
||
A('| `dim_school_id_map` | 5,995 条跨源院校 ID 映射 |')
|
||
A('| `ggyx_dim_major` | 1,595 个专业(+253) |')
|
||
|
||
io.open(os.path.join(D, '全表审计_报告.md'), 'w', encoding='utf-8').write('\n'.join(L))
|
||
print('报告已生成:%d 行' % len(L))
|