择校 UI(docs/择校UI): - 搜索支持外号(东大/华科)与拼音首字母(dndx),未命中做分诊 - 目标分拖动即见三档数量,松手列出换档院校,名单按收藏/对比/本地排序 - 家乡省份接入院校库(家乡优先排序)与首页推荐(池不足时说明并可按档位判断) - 缺档改成同尺寸占位卡并可跳院校库;三档口径收敛成一份、默认收起 - 新增拼音索引.js(907 校) 设计与交接:docs/研选E决策层_20261112 36 张稿与 README v1–v34;docs/agent_handoffs 续写。 审计与脚本:审计报告新增若干核验与分流产物,脚本同步更新。 .gitignore 追加排除 /官方资料/ 与 GB 级审计中间产物(global_writer_stages、来源发现、local_ingest_*)。
210 lines
17 KiB
Python
210 lines
17 KiB
Python
"""未纳入表逐张归类(2026-11-02,只读,点名制)
|
||
|
||
缺口矩阵覆盖 24 条维度线,但库内 219 张有数据的表里 167 张「未纳入」,合计 1,945 万行。
|
||
本脚本逐张说明它为什么不在账上,或它是不是一条漏掉的独立内容线。
|
||
|
||
分类不靠猜:core_tuition / web_tuition_rules / ggyx_major_contrast / core_rankings 等
|
||
关键表的归类依据来自本轮 PRAGMA + 首行抽样(见 审计报告/未纳入表归类_20261102.csv 的「依据」列)。
|
||
|
||
输出:审计报告/未纳入表归类_20261102.csv
|
||
"""
|
||
import csv
|
||
import io
|
||
import sqlite3
|
||
from collections import Counter, defaultdict
|
||
|
||
DB = r'D:\择校\数据库\zexiao_2027.db'
|
||
TAB = r'D:\择校\审计报告\逐项审计_逐表规模.csv'
|
||
OUT = r'D:\择校\审计报告\未纳入表归类_20261102.csv'
|
||
|
||
# 表名 → (大类, 依据)
|
||
CLS = {
|
||
# —— 已入账维度的另一种载体:矩阵经 fact_* / 主表读它,重复入账会虚增 ——
|
||
'ggyx_exam_dist': ('已入账·主表载体', '分数段分布经 v_fact_score_dist 合并归档入账'),
|
||
'ggyx_exam_score': ('已入账·主表载体', '分数线经 fact_score 入账(主表+归档)'),
|
||
'ggyx_exam_person': ('已入账·主表载体', '逐考生成绩,fact_score_dist 的另一半来源'),
|
||
'ggyx_getfs_seg': ('已入账·主表载体', '复试分数段经矩阵同名维度入账'),
|
||
'ggyx_getfs_hist': ('已入账·主表载体', '键集 100% 落入 ggyx_getfs_hist_all(瘦身盘点实测)'),
|
||
'ggyx_fs_dest_person': ('已入账·主表载体', '分数去向经 fact_dest 入账'),
|
||
'ggyx_fs_dest_hist': ('已入账·主表载体', '同上,历史批次'),
|
||
'ggyx_score_segment': ('已入账·主表载体', '分段人数,与 fact_score_dist 同源'),
|
||
'ggyx_score_dest': ('已入账·主表载体', '分数去向汇总,fact_dest 派生'),
|
||
'ggyx_admission_list': ('已入账·主表载体', '录取名单经 fact_admission 物化入账(C10 一致)'),
|
||
'ggyx_st_source': ('已入账·主表载体', '考生号来源表,供名单去重使用'),
|
||
'ggyx_hot_triple': ('已入账·分母来源', 'B2a 617 校即由本表去重得出,不参与覆盖分子'),
|
||
'ggyx_triple_hist': ('已入账·分母来源', '同三元组键集,独占 2023-2026 跨年 ID 对照'),
|
||
'ggyx_ssd_master': ('已入账·专业主数据', '与 src_major_catalog 键集 97% 重合(11-02 跨源账)'),
|
||
'ggyx_ssd_tag': ('已入账·专业主数据', '硕士点标签,随专业主数据使用'),
|
||
'src_master': ('已入账·专业主数据', '与 src_major_catalog 键集 97% 重合(独有 135 键)'),
|
||
'core_majors': ('已入账·专业主数据', '校级 936 键,宽表遗留'),
|
||
|
||
# —— 派生标签/榜单代理:由其他表加权生成,不是独立采集证据 ——
|
||
'ggyx_major_contrast': ('派生标签', '校×专业标签对比(有调剂/招生人数少等),由多表加权'),
|
||
'ggyx_major_limit_tag': ('派生标签', '一志愿未招满/差额标签'),
|
||
'ggyx_major_school_hot': ('派生标签', '校热度代理'), 'ggyx_major_school_rank': ('派生标签', '校排行代理'),
|
||
'ggyx_major_hot_rank': ('派生标签', '热度排行'), 'ggyx_major_analyze': ('派生标签', '分析汇总'),
|
||
'ggyx_major_over400_seg': ('派生表', '键集 100% 一致(49,124),C3 已移出矩阵'),
|
||
'ggyx_major_score_stats': ('派生表', '名单统计,C3 已移出'), 'ggyx_major_rank_metrics': ('派生表', 'C3 已移出'),
|
||
'ggyx_major_yoy_metrics': ('派生表', 'C3 已移出'), 'ggyx_major_competition_proxy': ('派生表', 'C3 已移出'),
|
||
'ggyx_pre_adjust_rank': ('派生标签', '预调剂排行,由公告与名单加权'),
|
||
'adjust_ssd_hot': ('派生标签', '调剂热度代理'),
|
||
|
||
# —— 维表 / ID 映射 / 元数据 ——
|
||
'dim_field_semantics': ('待补登记 meta', '本轮登记脚本已含'), 'dim_school_id_map': ('待补登记 meta', '本轮登记脚本已含'),
|
||
'dim_school_rename': ('维表', '更名映射,school_key 依赖'), 'dim_table_meta': ('维表', '表级元数据本体'),
|
||
'ggyx_dim_dept': ('维表', '院系维表'), 'ggyx_dim_kypt': ('维表', '考研平台维表'),
|
||
'ggyx_dim_major': ('维表', '专业维表,t_mj 键映射依赖'), 'ggyx_dim_major_class': ('维表', '专业分类'),
|
||
'ggyx_dim_school': ('维表', '校库维表(B2 来源)'), 'ggyx_dim_school_code': ('维表', '院校代码映射'),
|
||
'ggyx_dim_xkpg': ('维表', '学科评估维表'), 'ggyx_school_map': ('维表', '跨源校映射'),
|
||
'ggyx_major_map': ('维表', '专业映射'), 'ggyx_ref_dict': ('维表', '字典表'), 'ggyx_ref_jieshu': ('维表', '解读字典'),
|
||
'ggyx_meta': ('元数据', '采集元数据'), 'changelog': ('元数据', '变更留痕'), 'registry': ('元数据', '批次注册'),
|
||
'meta': ('元数据', '杂项元数据'), 'sources': ('元数据', '来源清单'), 'gov_sources': ('元数据', '政府源清单'),
|
||
|
||
# —— 采集过程件 / 日志 / 留痕 ——
|
||
'ggyx_collect_log': ('采集过程件', '抓取日志'), 'ggyx_collect_log2': ('采集过程件', '抓取日志'),
|
||
'ggyx_collect_log3': ('采集过程件', '抓取日志'), 'sweep_log': ('采集过程件', '清扫日志'),
|
||
'ggyx_endpoint_manifest': ('采集过程件', '端点清单'), 'ggyx_archive_index': ('采集过程件', '归档索引'),
|
||
'ggyx_article': ('采集过程件', '文章原文'), 'ggyx_school_news': ('采集过程件', '校园新闻原文'),
|
||
'ggyx_school_notice_stat': ('采集过程件', '公告计数统计'), 'ggyx_fill_stat': ('采集过程件', '填充率统计'),
|
||
'ggyx_fact_raw': ('采集原始层', '入库前 raw 留痕'), 'ggyx_fact_raw2': ('采集原始层', '入库前 raw 留痕'),
|
||
'files': ('文件索引', '公告附件文件索引'), 'notice_files': ('文件索引', '公告文件索引'),
|
||
'att_fields': ('字段暂存', '附件字段展开'), 'att_fields_legacy': ('字段暂存', '旧版'),
|
||
'fee_check': ('校验中间表', '学费核对过程件'), 'core_verify_matrix': ('校验中间表', '核验矩阵'),
|
||
'core_errata': ('勘误', '勘误记录'), 'errata': ('勘误', '勘误记录(与 core_errata 同 207 行)'),
|
||
'core_topics': ('内容暂存', '专题内容'), 'src_topics': ('内容暂存', '专题内容'),
|
||
'core_facets': ('内容暂存', ' facets 维度'), 'core_notices': ('公告原文', '第三方公告正文'),
|
||
'src_notice_bodies': ('公告原文', '公告正文),供抽取不回表使用'), 'notices_all': ('公告原文', '全量公告原文'),
|
||
|
||
# —— 观察层与唯一 writer 体系(非产品事实) ——
|
||
'global_facts': ('观察层/写入体系', 'status 实测 source_observation 3,366,832 / conflict 42,175 / already_present 4,830'),
|
||
'global_fact_evidence': ('观察层/写入体系', '证据绑定表'),
|
||
'global_source_observations': ('观察层/写入体系', 'source_observation 落点,未升为产品事实'),
|
||
'global_source_row_ledger': ('观察层/写入体系', '行级台账'),
|
||
'global_evidence_assessment': ('观察层/写入体系', '证据评估'),
|
||
'global_evidence_locator_review': ('观察层/写入体系', '定位复核'),
|
||
'global_cross_verification': ('观察层/写入体系', '跨源核验中间'),
|
||
'global_cross_verification_batches': ('观察层/写入体系', '同上批次'),
|
||
'global_cross_verification_evidence': ('观察层/写入体系', '同上证据'),
|
||
'global_cross_verification_roots': ('观察层/写入体系', '同上根节点'),
|
||
'global_cross_verification_undo': ('观察层/写入体系', '撤销留痕'),
|
||
'global_existing_matches': ('观察层/写入体系', '既有匹配'),
|
||
'global_fact_field_roles': ('观察层/写入体系', '字段角色定义'),
|
||
'global_fact_normalized_aliases': ('观察层/写入体系', '归一别名'),
|
||
'global_fact_normalized_evidence': ('观察层/写入体系', '归一证据'),
|
||
'global_normalized_merge_undo': ('观察层/写入体系', '归并撤销留痕'),
|
||
'global_ingest_batches': ('观察层/写入体系', 'writer 批次表'),
|
||
'global_ingest_undo': ('观察层/写入体系', 'writer 撤销留痕'),
|
||
'global_batch_artifacts': ('观察层/写入体系', '批次产物'),
|
||
'global_raw_source_hashes': ('观察层/写入体系', '原始件哈希'),
|
||
'source_recovery_facts': ('观察层/写入体系', '来源恢复事实(287,080 行)'),
|
||
'fact_global': ('派生·展平层', 'global_facts 展平;报录比类字段 10-30 已判不可接'),
|
||
|
||
# —— 未入账的独立内容线:学费 ——
|
||
'core_tuition': 'PLACEHOLDER_TUITION',
|
||
'src_tuition': ('未入账内容线·学费', 'core_tuition 的中文列名镜像(同 5,397 行 / 551 校)'),
|
||
'web_tuition_rules': ('未入账内容线·学费', '简章抽出的学费/学制/住宿,617 校;仅 grain=专业级 的 614 行可下钻'),
|
||
'official_tuition_2024': ('未入账内容线·学费', '2024 官方学费'),
|
||
'eduego_tuition': ('未入账内容线·学费', '非全学费第三方源'),
|
||
'qihang_tuition': ('未入账内容线·学费', '启航学费源'),
|
||
'tuition_notice_extract': ('未入账内容线·学费', '公告抽取的学费'),
|
||
'_tuition_backup': ('备份', '改前旧值唯一留痕(与 chsi_2027_dir 有 1950 行不同)'),
|
||
|
||
# —— 未入账内容线:分数线族(11-02 跨源账已量化独有键) ——
|
||
'neworiental_major_lines': ('未入账内容线·分数线', '跨源账:2026 命中 877 校、独有键 22,153,主源 fact_score 独有 0'),
|
||
'zgc_major_lines': ('未入账内容线·分数线', '跨源账:2024 独有 14,290 键'),
|
||
'github_score_lines': ('未入账内容线·分数线', '跨源账:2023 独有 11,108 键;单科线门类/校级混杂'),
|
||
'src_ggyx_lines': ('未入账内容线·分数线', '跨源账:2026 命中 613 校,与 fact_score 部分重合'),
|
||
'core_hist_lines': ('未入账内容线·分数线', '跨源账:2024/2023 各带独有键'),
|
||
'src_line_from_name': ('未入账内容线·分数线', '按校名抽取的线,153 校'),
|
||
'src_line_from_notice': ('未入账内容线·分数线', '公告抽取的线'),
|
||
'src_school_discipline_line': ('未入账内容线·分数线', '校级学科线'),
|
||
'core_school_lines': ('未入账内容线·分数线', '校级线'), 'core_score_lines': ('未入账内容线·分数线', '分数线条'),
|
||
'src_official_lines': ('未入账内容线·分数线', '官方线抽取'),
|
||
'src_national_lines': ('未入账内容线·分数线', '国家线'), 'src_national_line_notes': ('未入账内容线·分数线', '国家线备注'),
|
||
'gaodun_score_lines_2026': ('未入账内容线·分数线', '高顿 2026 复试线'),
|
||
|
||
# —— 官方核验线(存档件,未并入矩阵) ——
|
||
'official_score_lines': ('官方核验线', '院校官方复试线与名单内实际最低分,由 line_kind 区分口径'),
|
||
'official_score_lines_2023': ('官方核验线', '2023 官方复试线(含 plan_type)'),
|
||
'official_score_lines_2024': ('官方核验线', '2024 官方复试线'),
|
||
'official_baolubi_2022': ('官方核验线', '2022 官方报考录取统计'),
|
||
'official_roster_2024': ('官方核验线', '2024 名单原件'),
|
||
'official_roster_major_stat': ('官方核验线', '名单按专业汇总'),
|
||
'official_adjust_quota_2024': ('官方核验线', '2024 调剂缺额'),
|
||
'official_reexam_rules_2024': ('官方核验线', '2024 复试规则'),
|
||
'baolubi_2023_2026': ('官方核验线', '官方报考录取统计;granularity 为名称/方向级的行不得当专业级'),
|
||
'gaodun_baolubi_2025': ('官方核验线', '高顿 2025 报录比'),
|
||
'web_score_lines_2023_2024': ('官方核验线', '东南大学院系所复试线(方向级,含单科)'),
|
||
'web_accommodation_policy': ('官方核验线', '住宿政策抽取'),
|
||
'core_official_0856': ('官方核验线', '定向切片产物,不代表全专业'),
|
||
'core_official_texts': ('官方核验线', '官方原文留档'),
|
||
'src_roster_major_stat': ('官方核验线', '名单专业统计'), 'src_roster_school_stat': ('官方核验线', '名单院校统计'),
|
||
'src_admit_roster': ('官方核验线', '跨源账:2026 仅 61 键 / 60 校命中 B1,互证价值低'),
|
||
'src_admit_samples': ('官方核验线', '名单抽样'),
|
||
|
||
# —— 未入账内容线:政策/导师/榜单/学科评估/人物/题库/联系方式 ——
|
||
'core_policies': ('未入账内容线·政策摘录', '简章抽出的专项计划等政策条文,696 校'),
|
||
'src_notice_policies': ('未入账内容线·政策摘录', 'core_policies 的中文列名镜像(同 19,509 行)'),
|
||
'core_supervisors': ('未入账内容线·导师', '导师名录 27,644 行,仅 57 校命中 B1,覆盖过窄'),
|
||
'src_supervisors': ('未入账内容线·导师', 'core_supervisors 镜像'),
|
||
'core_rankings': ('未入账内容线·榜单', '第三方榜单(311 高分榜等),445 校'),
|
||
'core_school_facts': ('未入账内容线·校情', '校级事实汇总'),
|
||
'core_xkpg': ('未入账内容线·学科评估', '学科评估结果'), 'src_xkpg': ('未入账内容线·学科评估', '镜像'),
|
||
'ggyx_pg_person': ('未入账内容线·人物经验', '上岸学长经验与分数背景,727,377 行 / 502 校'),
|
||
'ggyx_prosgraduate': ('未入账内容线·人物经验', '招生专业人物(2026),502 校'),
|
||
'ggyx_yw_question': ('未入账内容线·题库', '题目语料,非招生事实'),
|
||
'core_contacts': ('未入账内容线·联系方式', '262 校'), 'src_contacts': ('未入账内容线·联系方式', '镜像 263 校'),
|
||
|
||
# —— 调剂维度的其他载体 ——
|
||
'adjust_notice_majors': ('已入账·调剂载体', '与 ggyx_adjust_notice 键集完全相同(19,887 键 / 819 校,独有 0),不计两份'),
|
||
'adjust_notices': ('已入账·调剂载体', '公告级 702 行,与矩阵维度键集不重合,可作补充证据'),
|
||
'core_adjust_lists': ('未入账内容线·调剂', '跨源账:2026 独有 2,524 键 / 703 校'),
|
||
'tjzc_adjust_quota_2026': ('未入账内容线·调剂', '调剂网 2026 缺额'),
|
||
|
||
# —— 缺口工作表 / 中间表 / 外部未确认源 ——
|
||
'gap_2027_check': ('缺口工作表', '2027 缺口核对中间表'), 'gap_dept_alias': ('缺口工作表', '院系别名待决'),
|
||
'gap_dir_2027': ('缺口工作表', '2027 目录缺口 819 行 / 248 校'), 'gap_worklist': ('缺口工作表', '待采清单'),
|
||
'plan27_recon': ('缺口工作表', '2027 科目方案对账'), 'core_chsi_dir27': ('中间表', '研招网目录中间表'),
|
||
'core_admit_stats': ('中间表', '录取统计中间表'), 'core_targets': ('目标清单', '目标校清单'),
|
||
'src_target_major': ('目标清单', '目标专业清单'), 'src_target_major_checked': ('目标清单', '已核对子集'),
|
||
'qoder_plan_enroll': ('外部未确认源', "school_code/year 全为「未确认」,来源标 third_party_rendered(HF 镜像),不可当证据"),
|
||
'ggyx_school_adjust_major': ('未入账内容线·调剂', '校×专业调剂标记'),
|
||
}
|
||
CLS['core_tuition'] = ('未入账内容线·学费', '院校官网学费,含 evidence 指向本地原件(5,397 行 / 551 校)')
|
||
|
||
con = sqlite3.connect('file:%s?mode=ro' % DB.replace('\\', '/'), uri=True)
|
||
META = {r[0]: r[1] for r in con.execute('SELECT table_name, purpose FROM dim_table_meta')}
|
||
|
||
tables = list(csv.DictReader(io.open(TAB, encoding='utf-8-sig')))
|
||
un = [t for t in tables if t['纳入状态'] == '未纳入']
|
||
|
||
rows, unknown = [], []
|
||
for t in un:
|
||
name = t['表']
|
||
if name not in CLS:
|
||
unknown.append(name)
|
||
continue
|
||
cat, why = CLS[name]
|
||
rows.append(dict(表=name, 行数=t['行数'], 归类=cat, 依据=why,
|
||
登记用途=(META.get(name) or '未登记')[:60]))
|
||
for name in unknown: # 兜底也要写出来,不允许静默丢弃
|
||
rows.append(dict(表=name, 行数=next(x['行数'] for x in un if x['表'] == name),
|
||
归类='待人工判', 依据='本轮未点名归类', 登记用途=(META.get(name) or '未登记')[:60]))
|
||
|
||
with open(OUT, 'w', encoding='utf-8-sig', newline='') as f:
|
||
w = csv.DictWriter(f, fieldnames=['表', '行数', '归类', '依据', '登记用途'])
|
||
w.writeheader()
|
||
w.writerows(rows)
|
||
|
||
cnt = Counter(r['归类'] for r in rows)
|
||
lines = defaultdict(int)
|
||
for r in rows:
|
||
lines[r['归类']] += int(r['行数'])
|
||
print('未纳入 %d 张,已点名 %d 张,待人工判 %d 张' % (len(un), len(un) - len(unknown), len(unknown)))
|
||
for k, v in sorted(cnt.items(), key=lambda x: -x[1]):
|
||
print(' %-24s %3d 张 %12s 行' % (k, v, f'{lines[k]:,}'))
|
||
if unknown:
|
||
print('\n未点名(需补归类):', ' '.join(unknown))
|
||
print('\nCSV →', OUT)
|
||
con.close()
|