Files
yanxuan/脚本/audit_uncovered.py
Your Name 62ac155641 同步择校 UI 三十四轮改版与审计产出
择校 UI(docs/择校UI):
- 搜索支持外号(东大/华科)与拼音首字母(dndx),未命中做分诊
- 目标分拖动即见三档数量,松手列出换档院校,名单按收藏/对比/本地排序
- 家乡省份接入院校库(家乡优先排序)与首页推荐(池不足时说明并可按档位判断)
- 缺档改成同尺寸占位卡并可跳院校库;三档口径收敛成一份、默认收起
- 新增拼音索引.js(907 校)

设计与交接:docs/研选E决策层_20261112 36 张稿与 README v1–v34;docs/agent_handoffs 续写。

审计与脚本:审计报告新增若干核验与分流产物,脚本同步更新。

.gitignore 追加排除 /官方资料/ 与 GB 级审计中间产物(global_writer_stages、来源发现、local_ingest_*)。
2026-11-13 22:32:10 +08:00

210 lines
17 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""未纳入表逐张归类(2026-11-02,只读,点名制)
缺口矩阵覆盖 24 条维度线,但库内 219 张有数据的表里 167 张「未纳入」,合计 1,945 万行。
本脚本逐张说明它为什么不在账上,或它是不是一条漏掉的独立内容线。
分类不靠猜:core_tuition / web_tuition_rules / ggyx_major_contrast / core_rankings 等
关键表的归类依据来自本轮 PRAGMA + 首行抽样(见 审计报告/未纳入表归类_20261102.csv 的「依据」列)。
输出:审计报告/未纳入表归类_20261102.csv
"""
import csv
import io
import sqlite3
from collections import Counter, defaultdict
DB = r'D:\择校\数据库\zexiao_2027.db'
TAB = r'D:\择校\审计报告\逐项审计_逐表规模.csv'
OUT = r'D:\择校\审计报告\未纳入表归类_20261102.csv'
# 表名 → (大类, 依据)
CLS = {
# —— 已入账维度的另一种载体:矩阵经 fact_* / 主表读它,重复入账会虚增 ——
'ggyx_exam_dist': ('已入账·主表载体', '分数段分布经 v_fact_score_dist 合并归档入账'),
'ggyx_exam_score': ('已入账·主表载体', '分数线经 fact_score 入账(主表+归档)'),
'ggyx_exam_person': ('已入账·主表载体', '逐考生成绩,fact_score_dist 的另一半来源'),
'ggyx_getfs_seg': ('已入账·主表载体', '复试分数段经矩阵同名维度入账'),
'ggyx_getfs_hist': ('已入账·主表载体', '键集 100% 落入 ggyx_getfs_hist_all(瘦身盘点实测)'),
'ggyx_fs_dest_person': ('已入账·主表载体', '分数去向经 fact_dest 入账'),
'ggyx_fs_dest_hist': ('已入账·主表载体', '同上,历史批次'),
'ggyx_score_segment': ('已入账·主表载体', '分段人数,与 fact_score_dist 同源'),
'ggyx_score_dest': ('已入账·主表载体', '分数去向汇总,fact_dest 派生'),
'ggyx_admission_list': ('已入账·主表载体', '录取名单经 fact_admission 物化入账(C10 一致)'),
'ggyx_st_source': ('已入账·主表载体', '考生号来源表,供名单去重使用'),
'ggyx_hot_triple': ('已入账·分母来源', 'B2a 617 校即由本表去重得出,不参与覆盖分子'),
'ggyx_triple_hist': ('已入账·分母来源', '同三元组键集,独占 2023-2026 跨年 ID 对照'),
'ggyx_ssd_master': ('已入账·专业主数据', '与 src_major_catalog 键集 97% 重合(11-02 跨源账)'),
'ggyx_ssd_tag': ('已入账·专业主数据', '硕士点标签,随专业主数据使用'),
'src_master': ('已入账·专业主数据', '与 src_major_catalog 键集 97% 重合(独有 135 键)'),
'core_majors': ('已入账·专业主数据', '校级 936 键,宽表遗留'),
# —— 派生标签/榜单代理:由其他表加权生成,不是独立采集证据 ——
'ggyx_major_contrast': ('派生标签', '校×专业标签对比(有调剂/招生人数少等),由多表加权'),
'ggyx_major_limit_tag': ('派生标签', '一志愿未招满/差额标签'),
'ggyx_major_school_hot': ('派生标签', '校热度代理'), 'ggyx_major_school_rank': ('派生标签', '校排行代理'),
'ggyx_major_hot_rank': ('派生标签', '热度排行'), 'ggyx_major_analyze': ('派生标签', '分析汇总'),
'ggyx_major_over400_seg': ('派生表', '键集 100% 一致(49,124),C3 已移出矩阵'),
'ggyx_major_score_stats': ('派生表', '名单统计,C3 已移出'), 'ggyx_major_rank_metrics': ('派生表', 'C3 已移出'),
'ggyx_major_yoy_metrics': ('派生表', 'C3 已移出'), 'ggyx_major_competition_proxy': ('派生表', 'C3 已移出'),
'ggyx_pre_adjust_rank': ('派生标签', '预调剂排行,由公告与名单加权'),
'adjust_ssd_hot': ('派生标签', '调剂热度代理'),
# —— 维表 / ID 映射 / 元数据 ——
'dim_field_semantics': ('待补登记 meta', '本轮登记脚本已含'), 'dim_school_id_map': ('待补登记 meta', '本轮登记脚本已含'),
'dim_school_rename': ('维表', '更名映射,school_key 依赖'), 'dim_table_meta': ('维表', '表级元数据本体'),
'ggyx_dim_dept': ('维表', '院系维表'), 'ggyx_dim_kypt': ('维表', '考研平台维表'),
'ggyx_dim_major': ('维表', '专业维表,t_mj 键映射依赖'), 'ggyx_dim_major_class': ('维表', '专业分类'),
'ggyx_dim_school': ('维表', '校库维表(B2 来源)'), 'ggyx_dim_school_code': ('维表', '院校代码映射'),
'ggyx_dim_xkpg': ('维表', '学科评估维表'), 'ggyx_school_map': ('维表', '跨源校映射'),
'ggyx_major_map': ('维表', '专业映射'), 'ggyx_ref_dict': ('维表', '字典表'), 'ggyx_ref_jieshu': ('维表', '解读字典'),
'ggyx_meta': ('元数据', '采集元数据'), 'changelog': ('元数据', '变更留痕'), 'registry': ('元数据', '批次注册'),
'meta': ('元数据', '杂项元数据'), 'sources': ('元数据', '来源清单'), 'gov_sources': ('元数据', '政府源清单'),
# —— 采集过程件 / 日志 / 留痕 ——
'ggyx_collect_log': ('采集过程件', '抓取日志'), 'ggyx_collect_log2': ('采集过程件', '抓取日志'),
'ggyx_collect_log3': ('采集过程件', '抓取日志'), 'sweep_log': ('采集过程件', '清扫日志'),
'ggyx_endpoint_manifest': ('采集过程件', '端点清单'), 'ggyx_archive_index': ('采集过程件', '归档索引'),
'ggyx_article': ('采集过程件', '文章原文'), 'ggyx_school_news': ('采集过程件', '校园新闻原文'),
'ggyx_school_notice_stat': ('采集过程件', '公告计数统计'), 'ggyx_fill_stat': ('采集过程件', '填充率统计'),
'ggyx_fact_raw': ('采集原始层', '入库前 raw 留痕'), 'ggyx_fact_raw2': ('采集原始层', '入库前 raw 留痕'),
'files': ('文件索引', '公告附件文件索引'), 'notice_files': ('文件索引', '公告文件索引'),
'att_fields': ('字段暂存', '附件字段展开'), 'att_fields_legacy': ('字段暂存', '旧版'),
'fee_check': ('校验中间表', '学费核对过程件'), 'core_verify_matrix': ('校验中间表', '核验矩阵'),
'core_errata': ('勘误', '勘误记录'), 'errata': ('勘误', '勘误记录(与 core_errata 同 207 行)'),
'core_topics': ('内容暂存', '专题内容'), 'src_topics': ('内容暂存', '专题内容'),
'core_facets': ('内容暂存', ' facets 维度'), 'core_notices': ('公告原文', '第三方公告正文'),
'src_notice_bodies': ('公告原文', '公告正文),供抽取不回表使用'), 'notices_all': ('公告原文', '全量公告原文'),
# —— 观察层与唯一 writer 体系(非产品事实) ——
'global_facts': ('观察层/写入体系', 'status 实测 source_observation 3,366,832 / conflict 42,175 / already_present 4,830'),
'global_fact_evidence': ('观察层/写入体系', '证据绑定表'),
'global_source_observations': ('观察层/写入体系', 'source_observation 落点,未升为产品事实'),
'global_source_row_ledger': ('观察层/写入体系', '行级台账'),
'global_evidence_assessment': ('观察层/写入体系', '证据评估'),
'global_evidence_locator_review': ('观察层/写入体系', '定位复核'),
'global_cross_verification': ('观察层/写入体系', '跨源核验中间'),
'global_cross_verification_batches': ('观察层/写入体系', '同上批次'),
'global_cross_verification_evidence': ('观察层/写入体系', '同上证据'),
'global_cross_verification_roots': ('观察层/写入体系', '同上根节点'),
'global_cross_verification_undo': ('观察层/写入体系', '撤销留痕'),
'global_existing_matches': ('观察层/写入体系', '既有匹配'),
'global_fact_field_roles': ('观察层/写入体系', '字段角色定义'),
'global_fact_normalized_aliases': ('观察层/写入体系', '归一别名'),
'global_fact_normalized_evidence': ('观察层/写入体系', '归一证据'),
'global_normalized_merge_undo': ('观察层/写入体系', '归并撤销留痕'),
'global_ingest_batches': ('观察层/写入体系', 'writer 批次表'),
'global_ingest_undo': ('观察层/写入体系', 'writer 撤销留痕'),
'global_batch_artifacts': ('观察层/写入体系', '批次产物'),
'global_raw_source_hashes': ('观察层/写入体系', '原始件哈希'),
'source_recovery_facts': ('观察层/写入体系', '来源恢复事实(287,080 行)'),
'fact_global': ('派生·展平层', 'global_facts 展平;报录比类字段 10-30 已判不可接'),
# —— 未入账的独立内容线:学费 ——
'core_tuition': 'PLACEHOLDER_TUITION',
'src_tuition': ('未入账内容线·学费', 'core_tuition 的中文列名镜像(同 5,397 行 / 551 校)'),
'web_tuition_rules': ('未入账内容线·学费', '简章抽出的学费/学制/住宿,617 校;仅 grain=专业级 的 614 行可下钻'),
'official_tuition_2024': ('未入账内容线·学费', '2024 官方学费'),
'eduego_tuition': ('未入账内容线·学费', '非全学费第三方源'),
'qihang_tuition': ('未入账内容线·学费', '启航学费源'),
'tuition_notice_extract': ('未入账内容线·学费', '公告抽取的学费'),
'_tuition_backup': ('备份', '改前旧值唯一留痕(与 chsi_2027_dir 有 1950 行不同)'),
# —— 未入账内容线:分数线族(11-02 跨源账已量化独有键) ——
'neworiental_major_lines': ('未入账内容线·分数线', '跨源账:2026 命中 877 校、独有键 22,153,主源 fact_score 独有 0'),
'zgc_major_lines': ('未入账内容线·分数线', '跨源账:2024 独有 14,290 键'),
'github_score_lines': ('未入账内容线·分数线', '跨源账:2023 独有 11,108 键;单科线门类/校级混杂'),
'src_ggyx_lines': ('未入账内容线·分数线', '跨源账:2026 命中 613 校,与 fact_score 部分重合'),
'core_hist_lines': ('未入账内容线·分数线', '跨源账:2024/2023 各带独有键'),
'src_line_from_name': ('未入账内容线·分数线', '按校名抽取的线,153 校'),
'src_line_from_notice': ('未入账内容线·分数线', '公告抽取的线'),
'src_school_discipline_line': ('未入账内容线·分数线', '校级学科线'),
'core_school_lines': ('未入账内容线·分数线', '校级线'), 'core_score_lines': ('未入账内容线·分数线', '分数线条'),
'src_official_lines': ('未入账内容线·分数线', '官方线抽取'),
'src_national_lines': ('未入账内容线·分数线', '国家线'), 'src_national_line_notes': ('未入账内容线·分数线', '国家线备注'),
'gaodun_score_lines_2026': ('未入账内容线·分数线', '高顿 2026 复试线'),
# —— 官方核验线(存档件,未并入矩阵) ——
'official_score_lines': ('官方核验线', '院校官方复试线与名单内实际最低分,由 line_kind 区分口径'),
'official_score_lines_2023': ('官方核验线', '2023 官方复试线(含 plan_type)'),
'official_score_lines_2024': ('官方核验线', '2024 官方复试线'),
'official_baolubi_2022': ('官方核验线', '2022 官方报考录取统计'),
'official_roster_2024': ('官方核验线', '2024 名单原件'),
'official_roster_major_stat': ('官方核验线', '名单按专业汇总'),
'official_adjust_quota_2024': ('官方核验线', '2024 调剂缺额'),
'official_reexam_rules_2024': ('官方核验线', '2024 复试规则'),
'baolubi_2023_2026': ('官方核验线', '官方报考录取统计;granularity 为名称/方向级的行不得当专业级'),
'gaodun_baolubi_2025': ('官方核验线', '高顿 2025 报录比'),
'web_score_lines_2023_2024': ('官方核验线', '东南大学院系所复试线(方向级,含单科)'),
'web_accommodation_policy': ('官方核验线', '住宿政策抽取'),
'core_official_0856': ('官方核验线', '定向切片产物,不代表全专业'),
'core_official_texts': ('官方核验线', '官方原文留档'),
'src_roster_major_stat': ('官方核验线', '名单专业统计'), 'src_roster_school_stat': ('官方核验线', '名单院校统计'),
'src_admit_roster': ('官方核验线', '跨源账:2026 仅 61 键 / 60 校命中 B1,互证价值低'),
'src_admit_samples': ('官方核验线', '名单抽样'),
# —— 未入账内容线:政策/导师/榜单/学科评估/人物/题库/联系方式 ——
'core_policies': ('未入账内容线·政策摘录', '简章抽出的专项计划等政策条文,696 校'),
'src_notice_policies': ('未入账内容线·政策摘录', 'core_policies 的中文列名镜像(同 19,509 行)'),
'core_supervisors': ('未入账内容线·导师', '导师名录 27,644 行,仅 57 校命中 B1,覆盖过窄'),
'src_supervisors': ('未入账内容线·导师', 'core_supervisors 镜像'),
'core_rankings': ('未入账内容线·榜单', '第三方榜单(311 高分榜等),445 校'),
'core_school_facts': ('未入账内容线·校情', '校级事实汇总'),
'core_xkpg': ('未入账内容线·学科评估', '学科评估结果'), 'src_xkpg': ('未入账内容线·学科评估', '镜像'),
'ggyx_pg_person': ('未入账内容线·人物经验', '上岸学长经验与分数背景,727,377 行 / 502 校'),
'ggyx_prosgraduate': ('未入账内容线·人物经验', '招生专业人物(2026),502 校'),
'ggyx_yw_question': ('未入账内容线·题库', '题目语料,非招生事实'),
'core_contacts': ('未入账内容线·联系方式', '262 校'), 'src_contacts': ('未入账内容线·联系方式', '镜像 263 校'),
# —— 调剂维度的其他载体 ——
'adjust_notice_majors': ('已入账·调剂载体', '与 ggyx_adjust_notice 键集完全相同(19,887 键 / 819 校,独有 0),不计两份'),
'adjust_notices': ('已入账·调剂载体', '公告级 702 行,与矩阵维度键集不重合,可作补充证据'),
'core_adjust_lists': ('未入账内容线·调剂', '跨源账:2026 独有 2,524 键 / 703 校'),
'tjzc_adjust_quota_2026': ('未入账内容线·调剂', '调剂网 2026 缺额'),
# —— 缺口工作表 / 中间表 / 外部未确认源 ——
'gap_2027_check': ('缺口工作表', '2027 缺口核对中间表'), 'gap_dept_alias': ('缺口工作表', '院系别名待决'),
'gap_dir_2027': ('缺口工作表', '2027 目录缺口 819 行 / 248 校'), 'gap_worklist': ('缺口工作表', '待采清单'),
'plan27_recon': ('缺口工作表', '2027 科目方案对账'), 'core_chsi_dir27': ('中间表', '研招网目录中间表'),
'core_admit_stats': ('中间表', '录取统计中间表'), 'core_targets': ('目标清单', '目标校清单'),
'src_target_major': ('目标清单', '目标专业清单'), 'src_target_major_checked': ('目标清单', '已核对子集'),
'qoder_plan_enroll': ('外部未确认源', "school_code/year 全为「未确认」,来源标 third_party_rendered(HF 镜像),不可当证据"),
'ggyx_school_adjust_major': ('未入账内容线·调剂', '校×专业调剂标记'),
}
CLS['core_tuition'] = ('未入账内容线·学费', '院校官网学费,含 evidence 指向本地原件(5,397 行 / 551 校)')
con = sqlite3.connect('file:%s?mode=ro' % DB.replace('\\', '/'), uri=True)
META = {r[0]: r[1] for r in con.execute('SELECT table_name, purpose FROM dim_table_meta')}
tables = list(csv.DictReader(io.open(TAB, encoding='utf-8-sig')))
un = [t for t in tables if t['纳入状态'] == '未纳入']
rows, unknown = [], []
for t in un:
name = t['表']
if name not in CLS:
unknown.append(name)
continue
cat, why = CLS[name]
rows.append(dict(表=name, 行数=t['行数'], 归类=cat, 依据=why,
登记用途=(META.get(name) or '未登记')[:60]))
for name in unknown: # 兜底也要写出来,不允许静默丢弃
rows.append(dict(表=name, 行数=next(x['行数'] for x in un if x['表'] == name),
归类='待人工判', 依据='本轮未点名归类', 登记用途=(META.get(name) or '未登记')[:60]))
with open(OUT, 'w', encoding='utf-8-sig', newline='') as f:
w = csv.DictWriter(f, fieldnames=['表', '行数', '归类', '依据', '登记用途'])
w.writeheader()
w.writerows(rows)
cnt = Counter(r['归类'] for r in rows)
lines = defaultdict(int)
for r in rows:
lines[r['归类']] += int(r['行数'])
print('未纳入 %d 张,已点名 %d 张,待人工判 %d 张' % (len(un), len(un) - len(unknown), len(unknown)))
for k, v in sorted(cnt.items(), key=lambda x: -x[1]):
print(' %-24s %3d 张 %12s 行' % (k, v, f'{lines[k]:,}'))
if unknown:
print('\n未点名(需补归类):', ' '.join(unknown))
print('\nCSV →', OUT)
con.close()