Files
yanxuan/脚本/gen_all_table_report.py

154 lines
7.1 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# -*- coding: utf-8 -*-
"""根据全表审计 CSV 生成 Markdown 报告。"""
import csv
import io
import os
from collections import Counter, defaultdict
D = r'D:\择校\审计报告'
summ = list(csv.DictReader(io.open(os.path.join(D, '全表审计_汇总.csv'), encoding='utf-8-sig')))
prof = list(csv.DictReader(io.open(os.path.join(D, '全表审计_字段剖面.csv'), encoding='utf-8-sig')))
iss = list(csv.DictReader(io.open(os.path.join(D, '全表审计_问题清单.csv'), encoding='utf-8-sig')))
LV = {'P1': '一级 ID 冲突', 'P2': '二级 孤儿记录', 'P3': '三级 年份越界',
'P4': '四级 字段高缺失', 'P5': '五级 数值异常', 'P6': '六级 格式异常', 'P7': '七级 结构异常'}
SEV = {'P1': '严重', 'P2': '严重', 'P3': '中', 'P4': '低', 'P5': '中', 'P6': '中', 'P7': '低'}
total_rows = sum(int(x['行数']) for x in summ)
sev = Counter(x['严重度'] for x in summ)
by_lv = defaultdict(list)
for r in iss:
by_lv[r['级别']].append(r)
L = []
A = L.append
A('# 全表审计报告(186 张表 / 2,743 字段 / 全量,无抽样)')
A('')
A('> 审计时间:2026-10-21 | 库:`zexiao_2027.db` 13GB')
A('> 范围:**全部 %d 张非空表、%d 个字段、%s 行**,每字段做全量 COUNT / COUNT(DISTINCT) / 极值,逐表检查 7 类问题。'
% (len(summ), len(prof), f'{total_rows:,}'))
A('> 口径:`docs/审计口径规范.md`')
A('')
A('## 一、总览')
A('')
A('| 严重度 | 表数 |')
A('|---|---|')
for k in ('严重', '中', '低', '无'):
A('| %s | %d |' % (k, sev.get(k, 0)))
A('')
A('问题按级别分布(修正误判后):')
A('')
A('| 级别 | 类型 | 项数 | 涉及表 |')
A('|---|---|---|---|')
for k in ('P1', 'P2', 'P3', 'P4', 'P5', 'P6', 'P7'):
v = by_lv.get(k, [])
if v:
A('| %s | %s | %d | %d |' % (k, LV[k], len(v), len({x['表'] for x in v})))
A('')
A('> 首轮扫描得到 591 项,修正 3 处判据误判后为 **%d 项**(P1 63→9、P2 31→13)。' % len(iss))
A('')
A('## 二、三个系统性根因(本轮才查明)')
A('')
A('### 2.1 库内存在两套 `school_id` 体系')
A('')
A('同一个学校在不同表里 ID 不同,但校名一致:')
A('')
A('| 学校 | `zgc_major_lines.school_id` | `ggyx_dim_school.school_id` |')
A('|---|---|---|')
A('| 沈阳药科大学 | 117 | 198 |')
A('| 临沂大学 | 1000 | (另一值) |')
A('')
A('**影响**:此前所有用 `school_id` 做跨表 JOIN 的统计,凡涉及第三方来源表(zgc / core_* / src_*)都会漏,')
A('但不会报错——只是数字偏小。这是最隐蔽的一类。')
A('')
A('**处置**:建 `dim_school_id_map`(**5,995 条**,按校名精确匹配),并为 11 张表加 `school_id_ggyx` 派生列回填:')
A('')
A('| 表 | 覆盖 | 回填后孤儿 |')
A('|---|---|---|')
A('| `zgc_major_lines` | 39,236/39,520 (99%) | **0** |')
A('| `core_hist_lines` | 58,047/58,173 (100%) | **0** |')
A('| `core_contacts` / `src_contacts` | 10,924/10,960 (100%) | **0** |')
A('| `core_policies` / `src_notice_policies` | 19,483/19,509 (100%) | **0** |')
A('| `notices_all` | 5,755/6,802 (85%) | **0** |')
A('| 其余 6 张 | 98–100% | **0** |')
A('')
A('### 2.2 专业维度表缺 253 个专业')
A('')
A('`ggyx_dim_major` 原 1,342 个专业,但库里实际出现 1,595 个。缺的 253 个是**近年新增专业**:')
A('低空技术与工程、文明学、金融科技、国土空间规划、党务管理……')
A('')
A('**影响**:`major_id` 在 5 张表里成为孤儿,专业级统计会漏掉这些新专业(恰好是考生最关心的新兴方向)。')
A('')
A('**处置**:从 `ggyx_major_hot_rank`(196 个,带专业码)、`ggyx_school_adjust_major`(56 个)、`ggyx_ssd_master`(1 个)补齐,')
A('`dim_major` **1,342 → 1,595**,孤儿清零。')
A('')
A('### 2.3 早期宽表大量字段从未填充')
A('')
A('`core_majors`(51,410 行)有 **20+ 个字段空值率 99.94%**:`official_subjects` / `off_total` / `off_first` / ')
A('`off_adjust` / `off_line` / `tuition` / `years` / `stage_ratio` / `equal_ability` / `cross_limit` 等。')
A('`core_official_0856`、`fee_check`、`src_target_major_checked` 的附件类字段空值率 100%。')
A('')
A('**判断**:这些是预留字段,宽表方案后被 `ggyx_*` 事实表取代,属历史遗留。**不建议补**,建议标记 `deprecated`。')
A('')
A('## 三、逐级问题明细')
A('')
for k in ('P1', 'P2', 'P3', 'P5', 'P6', 'P7'):
v = by_lv.get(k, [])
if not v:
continue
A('### %s %s(%d 项)' % (k, LV[k], len(v)))
A('')
A('| 表 | 字段 | 异常数 | 占比 | 说明 |')
A('|---|---|---|---|---|')
for r in sorted(v, key=lambda x: -int(x['异常数']))[:15]:
A('| `%s` | %s | %s | %s%% | %s |' % (r['表'], r['字段'], f"{int(r['异常数']):,}", r['占比%'], r['说明']))
if len(v) > 15:
A('| … | | | | 其余 %d 项见 CSV |' % (len(v) - 15))
A('')
A('### P4 字段高缺失(%d 项,Top 12)' % len(by_lv.get('P4', [])))
A('')
A('| 表 | 字段 | 空值率 |')
A('|---|---|---|')
for r in sorted(by_lv.get('P4', []), key=lambda x: -float(x['占比%']))[:12]:
A('| `%s` | %s | %s%% |' % (r['表'], r['字段'], r['占比%']))
A('')
A('> 481 项中,绝大多数是早期宽表的预留字段(空值率 >99%),属历史遗留而非采集缺失。')
A('')
A('## 四、判定为误判、实际正常(已修正判据)')
A('')
A('| 现象 | 首轮判定 | 实际 | 原因 |')
A('|---|---|---|---|')
A('| 事实表 `(school_id,major_id,year)` 出现多行 | P1 重复 63 项 | **正常** | 事实表一行是明细(科目/分段/考生),本就不唯一;且漏了 `xy_id` |')
A('| `core_*` 表 `notice_id` 重复 | P1 重复 | **正常** | 一个公告对应多个专业/段落 |')
A('| `ggyx_dim_xkpg.major_id` 孤儿 134 | P2 | **正常** | 学科评估表存的是学科代码,不是平台 major_id |')
A('| `ggyx_dim_major_class.code` 非 4-6 位 | P6 | **正常** | 门类码是 2 位 |')
A('| `ggyx_fact_raw2.code` 43,398 行 | P6 | **字段非专业码** | 该列存的是其他编码 |')
A('| `qoder_plan_enroll.year` 越界 132,124 | P3 | **字段非年份** | 该列存的不是招生年份 |')
A('')
A('## 五、仍待处理')
A('')
A('| 项 | 量 | 建议 |')
A('|---|---|---|')
A('| `qoder_plan_enroll` 13.2 万行字段语义不明 | 1 表 | 人工确认字段含义后再定性 |')
A('| `dir_hist.院校代码` 非 5 位 | 15 行 | 补齐或置空 |')
A('| `core_hist_lines.plan` 负数 | 2 行 | 置零或删除 |')
A('| `fact_admission.score` > 500 | 1 行 | 核对原值 |')
A('| 早期宽表 20+ 空字段 | 4 表 | 标记 `deprecated`,不再维护 |')
A('')
A('## 六、产物')
A('')
A('| 文件 | 内容 |')
A('|---|---|')
A('| `全表审计_汇总.csv` | %d 张表的行数/列数/问题数/严重度 |' % len(summ))
A('| `全表审计_字段剖面.csv` | %d 个字段的空值率/唯一值/极值 |' % len(prof))
A('| `全表审计_问题清单.csv` | %d 条问题,可定位到表+字段 |' % len(iss))
A('| `dim_school_id_map` | 5,995 条跨源院校 ID 映射 |')
A('| `ggyx_dim_major` | 1,595 个专业(+253) |')
io.open(os.path.join(D, '全表审计_报告.md'), 'w', encoding='utf-8').write('\n'.join(L))
print('报告已生成:%d 行' % len(L))