择校 UI(docs/择校UI): - 搜索支持外号(东大/华科)与拼音首字母(dndx),未命中做分诊 - 目标分拖动即见三档数量,松手列出换档院校,名单按收藏/对比/本地排序 - 家乡省份接入院校库(家乡优先排序)与首页推荐(池不足时说明并可按档位判断) - 缺档改成同尺寸占位卡并可跳院校库;三档口径收敛成一份、默认收起 - 新增拼音索引.js(907 校) 设计与交接:docs/研选E决策层_20261112 36 张稿与 README v1–v34;docs/agent_handoffs 续写。 审计与脚本:审计报告新增若干核验与分流产物,脚本同步更新。 .gitignore 追加排除 /官方资料/ 与 GB 级审计中间产物(global_writer_stages、来源发现、local_ingest_*)。
253 lines
14 KiB
Python
253 lines
14 KiB
Python
"""conflict 分流(2026-11-02,只读,不写库)
|
||
|
||
`global_facts` 里 status=conflict 有 42,175 条,AGENTS.md 一直把它列为待办却从未分解。
|
||
本脚本按 key_json 的 field 把它们归到五组,回答一个此前没人验证过的问题:
|
||
**到底有多少条真需要人工逐条裁。**
|
||
|
||
分组依据全部来自本轮或此前已实测定案的口径,不是猜测:
|
||
G1 报录比三件套 —— 10-30 实测 applicants 中位报录比 0.48、191 所报考少于录取,判源侧缺失,不接交付层
|
||
G2 单科线 cutoff_* —— 10-30 实测仅 5~60 校;改道 fact_score 按 subject 行转列
|
||
G3 招生人数类 —— 规范 §1.2a:按 enroll_str 前缀(专业:/研究方向:)解析,禁止盲目 SUM
|
||
G4 科目名称文本类 —— 差异来自大小写、全半角、空白,可自动归一
|
||
G5 其余 —— 真需人工逐条看
|
||
|
||
输出:
|
||
审计报告/conflict分流_20261102.csv 逐条归类(fact_id 级,可直接回写或过滤)
|
||
审计报告/conflict分流_20261102.md 分组汇总
|
||
"""
|
||
import base64
|
||
import csv
|
||
import json
|
||
import re
|
||
import sqlite3
|
||
import zlib
|
||
from collections import Counter, defaultdict
|
||
|
||
DB = r'D:\择校\数据库\zexiao_2027.db'
|
||
OUT_CSV = r'D:\择校\审计报告\conflict分流_20261102.csv'
|
||
OUT_MD = r'D:\择校\审计报告\conflict分流_20261102.md'
|
||
|
||
con = sqlite3.connect('file:%s?mode=ro' % DB.replace('\\', '/'), uri=True)
|
||
|
||
G1 = {'admitted', 'applicants', 'total', 'first_vol_admitted', 'adjust_admitted',
|
||
'applicants_num', 'first_volunteer_enroll_num', 'online_num', 'online_apply',
|
||
'initial_exam', 'enroll_ratio', 'baolubi',
|
||
# global_facts 的 field 命名比 fact_global 碎,报录比类有大量别名(G5 复核时发现)
|
||
'admitted_count', 'retest_count', 'adjustment_count', 'apply_admission_ratio',
|
||
'admission_rate_text', 'admit_avg_total', 'plan'}
|
||
G2 = {'cutoff_subject', 'cutoff_politics', 'cutoff_foreign', 'cutoff_subject1',
|
||
'cutoff_subject2', 'cutoff_total'}
|
||
G3 = {'planned_enrollment_catalog_text', 'planned_enrollment_major_level',
|
||
'enrollment_2026_field', 'planned_enrollment', 'quota', 'enroll_num', 'enroll_str'}
|
||
ADVICE = {
|
||
'G1 报录比三件套(源侧缺失)': '不逐条裁。整组标为不可接交付层,按 10-30 实测结论关闭',
|
||
'G2 单科线 cutoff_*(改道)': '不逐条裁。取数改走 fact_score 按 subject 行转列',
|
||
'G3 招生人数类(已定案口径)': '可自动重算:按 enroll_str 前缀解析并 MAX/SUM 分情形',
|
||
'G4 科目名称文本类': '可自动归一:大小写、全半角括号、空白',
|
||
'G6 值本身是多值(分区/兼报)': '不是冲突。值形如 70/85 是单科线一区二区双值,按线型拆列后自动消解',
|
||
'G7 学费类': '按 11-02 学费跨源核对结论处理:专硕段两源未对齐,整段标待裁',
|
||
'G8 文本表述类(含中文非数值)': '不做数值互证。表述差异属排版/口径文字,按原文展示即可',
|
||
'G9 分数统计类(最高/中位/最低/均值)': '按既有定案处置:下限常是专项线,比较与涨跌一律取上限',
|
||
'G10 比例类(复录比/淘汰率)': '按既有定案处置:这类可由 getfs 三元组推导,推导值优先于来源直给值',
|
||
'G11 来源链接差异': '不是冲突。同一事实的不同来源 URL 本就不同,属证据字段不是值字段',
|
||
'G12 上游自带冲突标注(非本地比对)': '整组移出裁决队列。属外部镜像数据集的自述标注,需要时作为来源备注保留',
|
||
'G13 学制因学习方式不同': '按全日制/非全日制拆列后消解,不做两源取一。值非法者(如 35101)留在 G5',
|
||
'G14 field 是中文表头(解析过程指标)': '先重命名再判可比性。这类 field 是把名单 PDF 表头原样写入,语义未定',
|
||
'G15 值体系与 dwdm 不符': '不可关联,移出裁决队列;已列入 dim_field_semantics 待登记项',
|
||
'G17 键部件缺失(写入时已自带标注)': '不参与跨源比对。证据 raw_json 里 record.missing_key_parts 非空,'
|
||
'即写入时就标了主键部件缺失(combo 那批是 major_code,degree_type,study_mode),判成 conflict 是键不全的必然结果',
|
||
'G16 同义写法(数字式与语言式)': '不是冲突。22408 与 英二数二408 是同一组合的两种写法,归一后同值',
|
||
'G5 其余,需人工': '逐条看',
|
||
}
|
||
|
||
|
||
def group_of(field, domain, value, scope):
|
||
f = (field or '').strip()
|
||
v = str(value or '').strip()
|
||
# 上游镜像数据集自带的「自述冲突」标注不是本地跨源比对结果,混在 conflict 里会虚增待办
|
||
if scope == '仓库自述冲突':
|
||
return 'G12 上游自带冲突标注(非本地比对)'
|
||
# chsi_school_id 实测值是 6~8 位(40+1 条),而 B1 用 5 位 dwdm,且这些行校名/专业码全空
|
||
if f == 'chsi_school_id':
|
||
return 'G15 值体系与 dwdm 不符'
|
||
# 学制天生因学习方式而异;只把值形态合法者移出,非法值(35101 这类串位)留在人工队列
|
||
if f == 'duration' and re.fullmatch(r'[1-5](\.5)?', v):
|
||
return 'G13 学制因学习方式不同'
|
||
# field 本身是中文表头:语义未定,先重命名,不在裁决队列里空转
|
||
if any('一' <= ch <= '鿿' for ch in f):
|
||
return 'G14 field 是中文表头(解析过程指标)'
|
||
if v.startswith('http'):
|
||
return 'G11 来源链接差异'
|
||
if '/' in v:
|
||
return 'G6 值本身是多值(分区/兼报)'
|
||
if f in G1 or f.startswith('actual_admitted'):
|
||
return 'G1 报录比三件套(源侧缺失)'
|
||
if f in G2 or f.startswith('cutoff'):
|
||
return 'G2 单科线 cutoff_*(改道)'
|
||
if f in G3 or 'enroll' in f or 'quota' in f or f.startswith('planned_'):
|
||
return 'G3 招生人数类(已定案口径)'
|
||
if 'tuition' in f or 'fee' in f:
|
||
return 'G7 学费类'
|
||
if f.endswith('_rate') or '_ratio' in f:
|
||
return 'G10 比例类(复录比/淘汰率)'
|
||
if re.search(r'^(single_|median_|admit_|max_|min_)|_avg|_max|_min|_score$|^total_score$', f):
|
||
return 'G9 分数统计类(最高/中位/最低/均值)'
|
||
if f.startswith('subject') or f.endswith('_name'):
|
||
return 'G4 科目名称文本类'
|
||
if re.search(r'[一-鿿]', v):
|
||
return 'G8 文本表述类(含中文非数值)'
|
||
return 'G5 其余,需人工'
|
||
|
||
|
||
cnt = Counter()
|
||
samples = defaultdict(list)
|
||
rows = []
|
||
fields = Counter()
|
||
zh_field_rows = 0
|
||
sid_len = Counter()
|
||
combo_pending = []
|
||
n = 0
|
||
for fact_id, key_json, value, reason, business_key in con.execute(
|
||
"SELECT fact_id, key_json, value, reason, business_key FROM global_facts WHERE status='conflict'"):
|
||
n += 1
|
||
try:
|
||
d = json.loads(key_json) if key_json else {}
|
||
except Exception:
|
||
d = {}
|
||
fields[d.get('field') or '(空)'] += 1
|
||
if any('一' <= ch <= '鿿' for ch in (d.get('field') or '')):
|
||
zh_field_rows += 1
|
||
if (d.get('field') or '') == 'chsi_school_id':
|
||
sid_len[len(str(value or '').strip())] += 1
|
||
g = group_of(d.get('field'), d.get('domain'), value, d.get('metric_scope') or '')
|
||
cnt[g] += 1
|
||
if len(samples[g]) < 3:
|
||
samples[g].append('%s=%s vs %s' % (d.get('field'), str(value)[:26], str(reason)[:34]))
|
||
rows.append([fact_id, g, d.get('field') or '', d.get('domain') or '',
|
||
str(value)[:40], d.get('code') or '', d.get('college') or '',
|
||
d.get('school') or '', d.get('metric_scope') or ''])
|
||
if (d.get('field') or '') in ('exam_combo_text', 'exam_combo_code'):
|
||
combo_pending.append((len(rows) - 1, business_key, str(value or '').strip()))
|
||
|
||
# 科目组合的两种写法:数字式首位=英语槽、次位=数学槽、尾三位=科目码(408 已在官方 exam_subjects 中)
|
||
# 22408 与 英二数二408 指同一组合,归一后同值即表述差异,不是跨源冲突
|
||
ENG = {'1': '英一', '2': '英二'}
|
||
MTH = {'1': '数一', '2': '数二'}
|
||
|
||
|
||
def combo_norm(v):
|
||
m = re.fullmatch(r'([12])([12])(\d{3})', v or '')
|
||
return (ENG[m.group(1)] + MTH[m.group(2)] + m.group(3)) if m else v
|
||
|
||
|
||
byb = defaultdict(list)
|
||
for idx, bk, v in combo_pending:
|
||
byb[bk].append((idx, v))
|
||
moved = kept = 0
|
||
for bk, items in byb.items():
|
||
if len(items) < 2:
|
||
continue
|
||
if len({combo_norm(v) for _, v in items}) == 1:
|
||
for idx, _ in items:
|
||
old = rows[idx][1]
|
||
cnt[old] -= 1
|
||
rows[idx][1] = 'G16 同义写法(数字式与语言式)'
|
||
cnt[rows[idx][1]] += 1
|
||
moved += 1
|
||
else:
|
||
kept += len(items)
|
||
print('exam_combo 共 %d 行:同义消解 %d,归一后仍不同(真槽位差异或键粒度不足)%d'
|
||
% (len(combo_pending), moved, kept))
|
||
|
||
# 最后一层:evidence.raw_json 里 record.missing_key_parts 非空 = 写入时自带"主键部件缺失"标注,
|
||
# 这类记录本就不该参与跨源比对,判成 conflict 是键不全的必然结果,不是数据打架。
|
||
g5_pending = [(i, rows[i][0]) for i in range(len(rows)) if rows[i][1].startswith('G5')]
|
||
mkp_hit = 0
|
||
for idx, fid in g5_pending:
|
||
ev = con.execute('SELECT raw_json FROM global_fact_evidence WHERE fact_id=? LIMIT 1', (fid,)).fetchone()
|
||
if not ev or not ev[0]:
|
||
continue
|
||
try:
|
||
blob = json.loads(ev[0]).get('_original_row_data')
|
||
if not blob:
|
||
continue
|
||
rec = json.loads(zlib.decompress(base64.b64decode(blob)).decode('utf-8', errors='replace')).get('record') or {}
|
||
except Exception:
|
||
continue
|
||
parts = (rec.get('missing_key_parts') or '').strip()
|
||
if parts:
|
||
rows[idx][1] = 'G17 键部件缺失(写入时已自带标注)'
|
||
rows[idx].append(parts)
|
||
cnt['G5 其余,需人工'] -= 1
|
||
cnt['G17 键部件缺失(写入时已自带标注)'] += 1
|
||
mkp_hit += 1
|
||
print('G5 中 %d 行的证据自带 missing_key_parts,移出人工队列;剩余需人工 %d 条'
|
||
% (mkp_hit, cnt['G5 其余,需人工']))
|
||
|
||
print('conflict 总行数 %d' % n)
|
||
for g, v in cnt.most_common():
|
||
print(' %-30s %6d %5.1f%%' % (g, v, 100.0 * v / n))
|
||
once = sum(1 for _, v in fields.items() if v == 1)
|
||
print('distinct field 名 %d 个(其中只出现 1 次的 %d 个)(无量级失控,但无受控字典)' % (len(fields), once))
|
||
|
||
with open(OUT_CSV, 'w', encoding='utf-8-sig', newline='') as f:
|
||
w = csv.writer(f)
|
||
w.writerow(['fact_id', '分流组', 'field', 'domain', '值', '专业码', '学院', '校', 'metric_scope',
|
||
'missing_key_parts'])
|
||
w.writerows([r + [''] * (10 - len(r)) for r in rows])
|
||
|
||
L = ['# conflict 分流(2026-11-02,只读实测)', '',
|
||
'> `global_facts` 里 status=conflict 共 **%s** 条。逐条看是假需求,本表按 field 归组。' % f'{n:,}',
|
||
'> 分组依据均为已实测定案的口径,不是猜测。逐条归类见 `conflict分流_20261102.csv`。', '',
|
||
'| 组 | 条数 | 占比 | 处置 |', '|---|---:|---:|---|']
|
||
for g, v in cnt.most_common():
|
||
L.append('| %s | %s | %.1f%% | %s |' % (g, f'{v:,}', 100.0 * v / n, ADVICE.get(g, '见本组依据列')))
|
||
auto = sum(v for g, v in cnt.items() if not g.startswith('G5'))
|
||
L.append('')
|
||
L.append('**不需人工的合计 %s 条(%.1f%%),真需人工 %s 条(%.1f%%)。**'
|
||
% (f'{auto:,}', 100.0 * auto / n, f'{n - auto:,}', 100.0 * (n - auto) / n))
|
||
L.append('')
|
||
L.append('')
|
||
L.append('## 附带查出的一条治理缺口')
|
||
L.append('')
|
||
L.append('conflict 行的 `field` 名共 **%d** 个不同取值,没有只出现 1 次的超长尾拼写(一次性拼写 %d 个)。'
|
||
% (len(fields), once))
|
||
L.append('量级可控(94 个可枚举),但仍**没有受控字典**:同一件事有 '
|
||
'`admitted` / `admitted_count` / `admit_avg_total` / `apply_admission_ratio` 等多种写法,')
|
||
L.append('跨源比对会因此漏配,任何按 field 名的过滤都得重写别名表(本轮 G1 就补了 7 个别名,补完后 G1 从 53.7% 升到 60.2%)。')
|
||
L.append('建议登记成 `dim_field_semantics` 的 field 别名字典,一次收口。')
|
||
L.append('')
|
||
L.append('## 分流之外查出的两条写入规范问题')
|
||
L.append('')
|
||
n_zh = len([f for f in fields if any('一' <= ch <= '鿿' for ch in f)])
|
||
L.append('1. **中文表头被当成 `field` 名写入**:共 %d 条、%d 种,如 `合计`、`来源未标注人数`、`2026线口径`、'
|
||
'`085410/085404录取口径`。这是解析 PDF 表格时把表头原样当字段名,'
|
||
'按 field 名做的任何过滤或跨源比对都会漏。' % (zh_field_rows, n_zh))
|
||
L.append('2. **`chsi_school_id` 这个 field 存的不是 5 位院校代码**:值位数分布 %s,'
|
||
'而 B1 官方应招名单是靠 `chsi_2027_dir.dwdm`(5 位)去重得出的。'
|
||
'把这类值当院校代码用会静默错配,与 `dim_field_semantics` 里已登记的'
|
||
'「code 存的其实是科目码/HTTP 状态码」是同一类问题。' % dict(sid_len))
|
||
L.append('')
|
||
L.append('## 各组样例')
|
||
L.append('')
|
||
for g, _ in cnt.most_common():
|
||
L.append('- **%s**:%s' % (g, ';'.join(samples[g])))
|
||
L.append('')
|
||
g5rows = [x for x in rows if x[1].startswith('G5')]
|
||
L.append('## 待人工的 %d 条,按 field 归并后共 %d 种' % (len(g5rows), len({x[2] for x in g5rows})))
|
||
L.append('')
|
||
L.append('| field | 条数 | 值样例 | 涉及专业码 |')
|
||
L.append('|---|---:|---|---|')
|
||
byf = defaultdict(list)
|
||
for _fid, _g, f, _dm, v, code, _col, _sch, _sc in g5rows:
|
||
byf[f or '(空)'].append((v, code))
|
||
for f, items in sorted(byf.items(), key=lambda x: -len(x[1])):
|
||
vals = ';'.join(v for v, _ in items[:4])
|
||
cds = '、'.join(sorted({c for _, c in items if c})[:6]) or '—'
|
||
L.append('| `%s` | %d | %s | %s |' % (f, len(items), vals[:60], cds))
|
||
with open(OUT_MD, 'w', encoding='utf-8') as f:
|
||
f.write('\n'.join(L) + '\n')
|
||
print('CSV →', OUT_CSV)
|
||
print('MD →', OUT_MD)
|
||
con.close()
|