Files
yanxuan/脚本/adjudicate_conflicts.py
Your Name 62ac155641 同步择校 UI 三十四轮改版与审计产出
择校 UI(docs/择校UI):
- 搜索支持外号(东大/华科)与拼音首字母(dndx),未命中做分诊
- 目标分拖动即见三档数量,松手列出换档院校,名单按收藏/对比/本地排序
- 家乡省份接入院校库(家乡优先排序)与首页推荐(池不足时说明并可按档位判断)
- 缺档改成同尺寸占位卡并可跳院校库;三档口径收敛成一份、默认收起
- 新增拼音索引.js(907 校)

设计与交接:docs/研选E决策层_20261112 36 张稿与 README v1–v34;docs/agent_handoffs 续写。

审计与脚本:审计报告新增若干核验与分流产物,脚本同步更新。

.gitignore 追加排除 /官方资料/ 与 GB 级审计中间产物(global_writer_stages、来源发现、local_ingest_*)。
2026-11-13 22:32:10 +08:00

253 lines
14 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""conflict 分流(2026-11-02,只读,不写库)
`global_facts` 里 status=conflict 有 42,175 条,AGENTS.md 一直把它列为待办却从未分解。
本脚本按 key_json 的 field 把它们归到五组,回答一个此前没人验证过的问题:
**到底有多少条真需要人工逐条裁。**
分组依据全部来自本轮或此前已实测定案的口径,不是猜测:
G1 报录比三件套 —— 10-30 实测 applicants 中位报录比 0.48、191 所报考少于录取,判源侧缺失,不接交付层
G2 单科线 cutoff_* —— 10-30 实测仅 5~60 校;改道 fact_score 按 subject 行转列
G3 招生人数类 —— 规范 §1.2a:按 enroll_str 前缀(专业:/研究方向:)解析,禁止盲目 SUM
G4 科目名称文本类 —— 差异来自大小写、全半角、空白,可自动归一
G5 其余 —— 真需人工逐条看
输出:
审计报告/conflict分流_20261102.csv 逐条归类(fact_id 级,可直接回写或过滤)
审计报告/conflict分流_20261102.md 分组汇总
"""
import base64
import csv
import json
import re
import sqlite3
import zlib
from collections import Counter, defaultdict
DB = r'D:\择校\数据库\zexiao_2027.db'
OUT_CSV = r'D:\择校\审计报告\conflict分流_20261102.csv'
OUT_MD = r'D:\择校\审计报告\conflict分流_20261102.md'
con = sqlite3.connect('file:%s?mode=ro' % DB.replace('\\', '/'), uri=True)
G1 = {'admitted', 'applicants', 'total', 'first_vol_admitted', 'adjust_admitted',
'applicants_num', 'first_volunteer_enroll_num', 'online_num', 'online_apply',
'initial_exam', 'enroll_ratio', 'baolubi',
# global_facts 的 field 命名比 fact_global 碎,报录比类有大量别名(G5 复核时发现)
'admitted_count', 'retest_count', 'adjustment_count', 'apply_admission_ratio',
'admission_rate_text', 'admit_avg_total', 'plan'}
G2 = {'cutoff_subject', 'cutoff_politics', 'cutoff_foreign', 'cutoff_subject1',
'cutoff_subject2', 'cutoff_total'}
G3 = {'planned_enrollment_catalog_text', 'planned_enrollment_major_level',
'enrollment_2026_field', 'planned_enrollment', 'quota', 'enroll_num', 'enroll_str'}
ADVICE = {
'G1 报录比三件套(源侧缺失)': '不逐条裁。整组标为不可接交付层,按 10-30 实测结论关闭',
'G2 单科线 cutoff_*(改道)': '不逐条裁。取数改走 fact_score 按 subject 行转列',
'G3 招生人数类(已定案口径)': '可自动重算:按 enroll_str 前缀解析并 MAX/SUM 分情形',
'G4 科目名称文本类': '可自动归一:大小写、全半角括号、空白',
'G6 值本身是多值(分区/兼报)': '不是冲突。值形如 70/85 是单科线一区二区双值,按线型拆列后自动消解',
'G7 学费类': '按 11-02 学费跨源核对结论处理:专硕段两源未对齐,整段标待裁',
'G8 文本表述类(含中文非数值)': '不做数值互证。表述差异属排版/口径文字,按原文展示即可',
'G9 分数统计类(最高/中位/最低/均值)': '按既有定案处置:下限常是专项线,比较与涨跌一律取上限',
'G10 比例类(复录比/淘汰率)': '按既有定案处置:这类可由 getfs 三元组推导,推导值优先于来源直给值',
'G11 来源链接差异': '不是冲突。同一事实的不同来源 URL 本就不同,属证据字段不是值字段',
'G12 上游自带冲突标注(非本地比对)': '整组移出裁决队列。属外部镜像数据集的自述标注,需要时作为来源备注保留',
'G13 学制因学习方式不同': '按全日制/非全日制拆列后消解,不做两源取一。值非法者(如 35101)留在 G5',
'G14 field 是中文表头(解析过程指标)': '先重命名再判可比性。这类 field 是把名单 PDF 表头原样写入,语义未定',
'G15 值体系与 dwdm 不符': '不可关联,移出裁决队列;已列入 dim_field_semantics 待登记项',
'G17 键部件缺失(写入时已自带标注)': '不参与跨源比对。证据 raw_json 里 record.missing_key_parts 非空,'
'即写入时就标了主键部件缺失(combo 那批是 major_code,degree_type,study_mode),判成 conflict 是键不全的必然结果',
'G16 同义写法(数字式与语言式)': '不是冲突。22408 与 英二数二408 是同一组合的两种写法,归一后同值',
'G5 其余,需人工': '逐条看',
}
def group_of(field, domain, value, scope):
f = (field or '').strip()
v = str(value or '').strip()
# 上游镜像数据集自带的「自述冲突」标注不是本地跨源比对结果,混在 conflict 里会虚增待办
if scope == '仓库自述冲突':
return 'G12 上游自带冲突标注(非本地比对)'
# chsi_school_id 实测值是 6~8 位(40+1 条),而 B1 用 5 位 dwdm,且这些行校名/专业码全空
if f == 'chsi_school_id':
return 'G15 值体系与 dwdm 不符'
# 学制天生因学习方式而异;只把值形态合法者移出,非法值(35101 这类串位)留在人工队列
if f == 'duration' and re.fullmatch(r'[1-5](\.5)?', v):
return 'G13 学制因学习方式不同'
# field 本身是中文表头:语义未定,先重命名,不在裁决队列里空转
if any('一' <= ch <= '鿿' for ch in f):
return 'G14 field 是中文表头(解析过程指标)'
if v.startswith('http'):
return 'G11 来源链接差异'
if '/' in v:
return 'G6 值本身是多值(分区/兼报)'
if f in G1 or f.startswith('actual_admitted'):
return 'G1 报录比三件套(源侧缺失)'
if f in G2 or f.startswith('cutoff'):
return 'G2 单科线 cutoff_*(改道)'
if f in G3 or 'enroll' in f or 'quota' in f or f.startswith('planned_'):
return 'G3 招生人数类(已定案口径)'
if 'tuition' in f or 'fee' in f:
return 'G7 学费类'
if f.endswith('_rate') or '_ratio' in f:
return 'G10 比例类(复录比/淘汰率)'
if re.search(r'^(single_|median_|admit_|max_|min_)|_avg|_max|_min|_score$|^total_score$', f):
return 'G9 分数统计类(最高/中位/最低/均值)'
if f.startswith('subject') or f.endswith('_name'):
return 'G4 科目名称文本类'
if re.search(r'[一-鿿]', v):
return 'G8 文本表述类(含中文非数值)'
return 'G5 其余,需人工'
cnt = Counter()
samples = defaultdict(list)
rows = []
fields = Counter()
zh_field_rows = 0
sid_len = Counter()
combo_pending = []
n = 0
for fact_id, key_json, value, reason, business_key in con.execute(
"SELECT fact_id, key_json, value, reason, business_key FROM global_facts WHERE status='conflict'"):
n += 1
try:
d = json.loads(key_json) if key_json else {}
except Exception:
d = {}
fields[d.get('field') or '(空)'] += 1
if any('一' <= ch <= '鿿' for ch in (d.get('field') or '')):
zh_field_rows += 1
if (d.get('field') or '') == 'chsi_school_id':
sid_len[len(str(value or '').strip())] += 1
g = group_of(d.get('field'), d.get('domain'), value, d.get('metric_scope') or '')
cnt[g] += 1
if len(samples[g]) < 3:
samples[g].append('%s=%s vs %s' % (d.get('field'), str(value)[:26], str(reason)[:34]))
rows.append([fact_id, g, d.get('field') or '', d.get('domain') or '',
str(value)[:40], d.get('code') or '', d.get('college') or '',
d.get('school') or '', d.get('metric_scope') or ''])
if (d.get('field') or '') in ('exam_combo_text', 'exam_combo_code'):
combo_pending.append((len(rows) - 1, business_key, str(value or '').strip()))
# 科目组合的两种写法:数字式首位=英语槽、次位=数学槽、尾三位=科目码(408 已在官方 exam_subjects 中)
# 22408 与 英二数二408 指同一组合,归一后同值即表述差异,不是跨源冲突
ENG = {'1': '英一', '2': '英二'}
MTH = {'1': '数一', '2': '数二'}
def combo_norm(v):
m = re.fullmatch(r'([12])([12])(\d{3})', v or '')
return (ENG[m.group(1)] + MTH[m.group(2)] + m.group(3)) if m else v
byb = defaultdict(list)
for idx, bk, v in combo_pending:
byb[bk].append((idx, v))
moved = kept = 0
for bk, items in byb.items():
if len(items) < 2:
continue
if len({combo_norm(v) for _, v in items}) == 1:
for idx, _ in items:
old = rows[idx][1]
cnt[old] -= 1
rows[idx][1] = 'G16 同义写法(数字式与语言式)'
cnt[rows[idx][1]] += 1
moved += 1
else:
kept += len(items)
print('exam_combo 共 %d 行:同义消解 %d,归一后仍不同(真槽位差异或键粒度不足)%d'
% (len(combo_pending), moved, kept))
# 最后一层:evidence.raw_json 里 record.missing_key_parts 非空 = 写入时自带"主键部件缺失"标注,
# 这类记录本就不该参与跨源比对,判成 conflict 是键不全的必然结果,不是数据打架。
g5_pending = [(i, rows[i][0]) for i in range(len(rows)) if rows[i][1].startswith('G5')]
mkp_hit = 0
for idx, fid in g5_pending:
ev = con.execute('SELECT raw_json FROM global_fact_evidence WHERE fact_id=? LIMIT 1', (fid,)).fetchone()
if not ev or not ev[0]:
continue
try:
blob = json.loads(ev[0]).get('_original_row_data')
if not blob:
continue
rec = json.loads(zlib.decompress(base64.b64decode(blob)).decode('utf-8', errors='replace')).get('record') or {}
except Exception:
continue
parts = (rec.get('missing_key_parts') or '').strip()
if parts:
rows[idx][1] = 'G17 键部件缺失(写入时已自带标注)'
rows[idx].append(parts)
cnt['G5 其余,需人工'] -= 1
cnt['G17 键部件缺失(写入时已自带标注)'] += 1
mkp_hit += 1
print('G5 中 %d 行的证据自带 missing_key_parts,移出人工队列;剩余需人工 %d 条'
% (mkp_hit, cnt['G5 其余,需人工']))
print('conflict 总行数 %d' % n)
for g, v in cnt.most_common():
print(' %-30s %6d %5.1f%%' % (g, v, 100.0 * v / n))
once = sum(1 for _, v in fields.items() if v == 1)
print('distinct field 名 %d 个(其中只出现 1 次的 %d 个)(无量级失控,但无受控字典)' % (len(fields), once))
with open(OUT_CSV, 'w', encoding='utf-8-sig', newline='') as f:
w = csv.writer(f)
w.writerow(['fact_id', '分流组', 'field', 'domain', '值', '专业码', '学院', '校', 'metric_scope',
'missing_key_parts'])
w.writerows([r + [''] * (10 - len(r)) for r in rows])
L = ['# conflict 分流(2026-11-02,只读实测)', '',
'> `global_facts` 里 status=conflict 共 **%s** 条。逐条看是假需求,本表按 field 归组。' % f'{n:,}',
'> 分组依据均为已实测定案的口径,不是猜测。逐条归类见 `conflict分流_20261102.csv`。', '',
'| 组 | 条数 | 占比 | 处置 |', '|---|---:|---:|---|']
for g, v in cnt.most_common():
L.append('| %s | %s | %.1f%% | %s |' % (g, f'{v:,}', 100.0 * v / n, ADVICE.get(g, '见本组依据列')))
auto = sum(v for g, v in cnt.items() if not g.startswith('G5'))
L.append('')
L.append('**不需人工的合计 %s 条(%.1f%%),真需人工 %s 条(%.1f%%)。**'
% (f'{auto:,}', 100.0 * auto / n, f'{n - auto:,}', 100.0 * (n - auto) / n))
L.append('')
L.append('')
L.append('## 附带查出的一条治理缺口')
L.append('')
L.append('conflict 行的 `field` 名共 **%d** 个不同取值,没有只出现 1 次的超长尾拼写(一次性拼写 %d 个)。'
% (len(fields), once))
L.append('量级可控(94 个可枚举),但仍**没有受控字典**:同一件事有 '
'`admitted` / `admitted_count` / `admit_avg_total` / `apply_admission_ratio` 等多种写法,')
L.append('跨源比对会因此漏配,任何按 field 名的过滤都得重写别名表(本轮 G1 就补了 7 个别名,补完后 G1 从 53.7% 升到 60.2%)。')
L.append('建议登记成 `dim_field_semantics` 的 field 别名字典,一次收口。')
L.append('')
L.append('## 分流之外查出的两条写入规范问题')
L.append('')
n_zh = len([f for f in fields if any('一' <= ch <= '鿿' for ch in f)])
L.append('1. **中文表头被当成 `field` 名写入**:共 %d 条、%d 种,如 `合计`、`来源未标注人数`、`2026线口径`、'
'`085410/085404录取口径`。这是解析 PDF 表格时把表头原样当字段名,'
'按 field 名做的任何过滤或跨源比对都会漏。' % (zh_field_rows, n_zh))
L.append('2. **`chsi_school_id` 这个 field 存的不是 5 位院校代码**:值位数分布 %s,'
'而 B1 官方应招名单是靠 `chsi_2027_dir.dwdm`(5 位)去重得出的。'
'把这类值当院校代码用会静默错配,与 `dim_field_semantics` 里已登记的'
'「code 存的其实是科目码/HTTP 状态码」是同一类问题。' % dict(sid_len))
L.append('')
L.append('## 各组样例')
L.append('')
for g, _ in cnt.most_common():
L.append('- **%s**:%s' % (g, ';'.join(samples[g])))
L.append('')
g5rows = [x for x in rows if x[1].startswith('G5')]
L.append('## 待人工的 %d 条,按 field 归并后共 %d 种' % (len(g5rows), len({x[2] for x in g5rows})))
L.append('')
L.append('| field | 条数 | 值样例 | 涉及专业码 |')
L.append('|---|---:|---|---|')
byf = defaultdict(list)
for _fid, _g, f, _dm, v, code, _col, _sch, _sc in g5rows:
byf[f or '(空)'].append((v, code))
for f, items in sorted(byf.items(), key=lambda x: -len(x[1])):
vals = ';'.join(v for v, _ in items[:4])
cds = '、'.join(sorted({c for _, c in items if c})[:6]) or '—'
L.append('| `%s` | %d | %s | %s |' % (f, len(items), vals[:60], cds))
with open(OUT_MD, 'w', encoding='utf-8') as f:
f.write('\n'.join(L) + '\n')
print('CSV →', OUT_CSV)
print('MD →', OUT_MD)
con.close()