From be68d5d74a3d6609781567f3130bb9f520693480 Mon Sep 17 00:00:00 2001 From: Your Name Date: Mon, 2 Nov 2026 16:17:16 +0800 Subject: [PATCH] =?UTF-8?q?=E8=A1=A5=E5=BD=95=E6=B2=88=E9=98=B3=E5=B7=A5?= =?UTF-8?q?=E4=B8=9A=E5=A4=A7=E5=AD=A60856=E4=B8=89=E8=A1=8C=EF=BC=8C?= =?UTF-8?q?=E7=BC=BA=E5=8F=A3=E6=B8=85=E5=8D=95=E5=88=86=E6=AF=8D362?= =?UTF-8?q?=E6=A0=A1=E5=8D=87=E5=88=B0363=E6=A0=A1?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 沈阳工业大学的 0856 分片 2026-10-20 就跑过了(manifest 里有 majors 与两个 方向响应的 sha256 与时间戳),但落库时 chsi_2027_dir 一行都没进,所以缺口清单 分母漏了它。按原始方向响应补 3 行(085601 材料学院 106、085602 环化 23、 石化 29),口径备注写明是补录而非目录表来源。 同类漏失全库只此 1 校,分母基本可信;不为此改 10.5 万行的核心目录表 (要连带重跑事实层与一致性自检)。清单现 986 行/363 校,唯一键 986 无重复。 --- 审计报告/0856_2027定向缺口清单.csv | 3 + .../backfill_gap_missing_dir_rows.py | 92 +++++ .../gap_backfill_20261102.txt | 6 + 运行暂存/units_0856_20261102.csv | 363 ++++++++++++++++++ 4 files changed, 464 insertions(+) create mode 100644 运行暂存/agent_ingest_20261101/backfill_gap_missing_dir_rows.py create mode 100644 运行暂存/agent_ingest_20261101/gap_backfill_20261102.txt create mode 100644 运行暂存/units_0856_20261102.csv diff --git a/审计报告/0856_2027定向缺口清单.csv b/审计报告/0856_2027定向缺口清单.csv index ad27a54bc..7d07d8337 100644 --- a/审计报告/0856_2027定向缺口清单.csv +++ b/审计报告/0856_2027定向缺口清单.csv @@ -982,3 +982,6 @@ 10232,齐齐哈尔大学,化学与化学工程学院,085600,材料与化工,非全日制,专业学位,1,2,专业:2(不含推免),9000,3,,,是,,,专业级MAX,, 10232,齐齐哈尔大学,材料科学与工程学院,085600,材料与化工,全日制,专业学位,1,19,研究方向:19(不含推免),9000,3,,,是,,,方向级SUM,, 10232,齐齐哈尔大学,轻工与纺织学院,085600,材料与化工,全日制,专业学位,3,4,研究方向:4(不含推免),9000,3,,,是,,,方向级MAX(疑重复),方向级值各方向相同(4×3),疑为专业名额重复,取MAX, +10142,沈阳工业大学,材料科学与工程学院,085601,材料工程,,专业学位,1,106,专业:95(不含推免),,,,,是,是,是,专业,补录:2026-10-20 已抓到原始方向响应但 chsi_2027_dir 未落该行;官方目录拟接收推免=11, +10142,沈阳工业大学,环境与化学工程学院,085602,化学工程,,专业学位,1,23,专业:20(不含推免),,,,,是,是,是,专业,补录:2026-10-20 已抓到原始方向响应但 chsi_2027_dir 未落该行;官方目录拟接收推免=3, +10142,沈阳工业大学,石油化工学院,085602,化学工程,,专业学位,1,29,专业:25(不含推免),,,,,是,是,是,专业,补录:2026-10-20 已抓到原始方向响应但 chsi_2027_dir 未落该行;官方目录拟接收推免=4, diff --git a/运行暂存/agent_ingest_20261101/backfill_gap_missing_dir_rows.py b/运行暂存/agent_ingest_20261101/backfill_gap_missing_dir_rows.py new file mode 100644 index 000000000..a6e38f81b --- /dev/null +++ b/运行暂存/agent_ingest_20261101/backfill_gap_missing_dir_rows.py @@ -0,0 +1,92 @@ +# -*- coding: utf-8 -*- +"""把 chsi_2027_dir 里缺失的 0856 目录行从原始响应补进缺口清单。 + +2026-10-20 那次抓取其实取到了沈阳工业大学 0856 的 majors 与两个方向响应 +(manifest 里有 sha256 与时间戳),但落库时该校 0856 一行都没进 chsi_2027_dir, +所以缺口清单的分母漏了它。这里按原始响应补齐这两行,并在「名额口径」列标出 +来源是补录,避免有人以为是目录表里来的。核心目录表不动:补 10.5 万行的表要 +连带重跑事实层与一致性自检,为 1 校 2 码不值得。 +""" +import csv +import glob +import io +import json +import os +import re +import sqlite3 + +RAW = r'D:/择校/运行暂存/zexiao_cache/chsi_2027/raw/directions' +GAP = r'D:/择校/审计报告/0856_2027定向缺口清单.csv' +LOG = r'D:/择校/运行暂存/agent_ingest_20261101/gap_backfill_20261102.txt' +PRE = re.compile(r'^\s*(专业|研究方向|一级学科|院系所)\s*[::]\s*(\d+)') + + +def norm(s): + return re.sub(r'\s+', '', str(s or '')) + + +z = sqlite3.connect('file:D:/择校/数据库/zexiao_2027.db?mode=ro', uri=True) +db = set(r[0] for r in z.execute("select distinct dwmc from chsi_2027_dir where zydm like '0856%'")) +z.close() + +rows = list(csv.DictReader(open(GAP, encoding='utf-8-sig'))) +have = {(norm(r['院校']), r['专业代码'], norm(r['学院']), norm(r['学习方式'])) for r in rows} + +add, seen_schools = [], set() +for p in sorted(glob.glob(os.path.join(RAW, '*_0856*.json'))): + d = json.load(open(p, encoding='utf-8')) + m = d.get('msg') + if not isinstance(m, dict): + continue + for it in m.get('list') or []: + dwmc = norm(it.get('dwmc')) + zydm = norm(it.get('zydm')) + if not zydm.startswith('0856') or dwmc in db: + continue # 目录里已有该校,不补 + pm = PRE.match(it.get('nzsrsstr') or '') + excl = int(pm.group(2)) if pm else None + try: + tm = int(str(it.get('ssjstmrs'))) + except Exception: + tm = None + try: + nz = int(str(it.get('nzsrs'))) + except Exception: + nz = None + key = (dwmc, zydm, norm(it.get('yxsmc')), norm(it.get('xxfsmc'))) + if key in have: + continue + have.add(key) + seen_schools.add(dwmc) + add.append({ + '院校代码': norm(it.get('dwdm')), '院校': dwmc, '学院': norm(it.get('yxsmc')), + '专业代码': zydm, '专业名称': norm(it.get('zymc')), '学习方式': norm(it.get('xxfsmc')), + '学位类型': '专业学位', '方向行数': 1, + '拟招含推免': nz if nz is not None else '', + '拟招不含推免原文': it.get('nzsrsstr') or '', + '官网学费': '', '学制': '', + '推免接收数_三键匹配': '', '推免接收数_同校同码合计': '', + '缺推免接收数': '是', '缺官网学费': '是', '缺学制': '是', + '名额口径': (pm.group(1) if pm else '') or '无', + '口径备注': '补录:2026-10-20 已抓到原始方向响应但 chsi_2027_dir 未落该行;' + '官方目录拟接收推免=%s' % (tm if tm is not None else '未填')}) + +cols = list(rows[0].keys()) +rows += add +with io.open(GAP, 'w', newline='', encoding='utf-8-sig') as f: + w = csv.DictWriter(f, fieldnames=cols) + w.writeheader() + w.writerows(rows) + +L = ['=== 缺口清单补录(目录漏行) ==='] +L.append('目录里有 0856 的校=%d 本次从原始响应补入行=%d 涉及校=%s' % ( + len(db), len(add), sorted(seen_schools))) +for r in add: + L.append(' %-12s %s %-24s %s 拟招含推免=%-5s 不含=%-5s 原文=%s' % ( + r['院校'], r['专业代码'], r['学院'][:24], r['学习方式'], + r['拟招含推免'], r['名额口径'], r['拟招不含推免原文'])) +L.append('清单行数=%d 唯一键=%d 校=%d' % ( + len(rows), len({(r['院校'], r['学院'], r['专业代码'], r['学习方式']) for r in rows}), + len({r['院校'] for r in rows}))) +open(LOG, 'w', encoding='utf-8').write('\n'.join(L) + '\n') +print('\n'.join(L)) diff --git a/运行暂存/agent_ingest_20261101/gap_backfill_20261102.txt b/运行暂存/agent_ingest_20261101/gap_backfill_20261102.txt new file mode 100644 index 000000000..90dec90f5 --- /dev/null +++ b/运行暂存/agent_ingest_20261101/gap_backfill_20261102.txt @@ -0,0 +1,6 @@ +=== 缺口清单补录(目录漏行) === +目录里有 0856 的校=362 本次从原始响应补入行=3 涉及校=['沈阳工业大学'] + 沈阳工业大学 085601 材料科学与工程学院 拟招含推免=106 不含=专业 原文=专业:95(不含推免) + 沈阳工业大学 085602 环境与化学工程学院 拟招含推免=23 不含=专业 原文=专业:20(不含推免) + 沈阳工业大学 085602 石油化工学院 拟招含推免=29 不含=专业 原文=专业:25(不含推免) +清单行数=986 唯一键=986 校=363 diff --git a/运行暂存/units_0856_20261102.csv b/运行暂存/units_0856_20261102.csv new file mode 100644 index 000000000..89f284d6f --- /dev/null +++ b/运行暂存/units_0856_20261102.csv @@ -0,0 +1,363 @@ +院校代码,院校 +10001,北京大学 +10003,清华大学 +10004,北京交通大学 +10005,北京工业大学 +10006,北京航空航天大学 +10007,北京理工大学 +10008,北京科技大学 +10009,北方工业大学 +10010,北京化工大学 +10011,北京工商大学 +10015,北京印刷学院 +10017,北京石油化工学院 +10022,北京林业大学 +10027,北京师范大学 +10028,首都师范大学 +10054,华北电力大学 +10055,南开大学 +10056,天津大学 +10057,天津科技大学 +10058,天津工业大学 +10060,天津理工大学 +10065,天津师范大学 +10075,河北大学 +10076,河北工程大学 +10077,河北地质大学 +10078,华北水利水电大学 +10079,华北电力大学(保定) +10080,河北工业大学 +10081,华北理工大学 +10082,河北科技大学 +10092,河北北方学院 +10094,河北师范大学 +10107,石家庄铁道大学 +10108,山西大学 +10109,太原科技大学 +10110,中北大学 +10112,太原理工大学 +10118,山西师范大学 +10120,山西大同大学 +10126,内蒙古大学 +10127,内蒙古科技大学 +10128,内蒙古工业大学 +10129,内蒙古农业大学 +10136,内蒙古民族大学 +10140,辽宁大学 +10141,大连理工大学 +10143,沈阳航空航天大学 +10144,沈阳理工大学 +10145,东北大学 +10146,辽宁科技大学 +10147,辽宁工程技术大学 +10148,辽宁石油化工大学 +10149,沈阳化工大学 +10150,大连交通大学 +10151,大连海事大学 +10152,大连工业大学 +10154,辽宁工业大学 +10166,沈阳师范大学 +10167,渤海大学 +10183,吉林大学 +10184,延边大学 +10186,长春理工大学 +10188,东北电力大学 +10190,长春工业大学 +10192,吉林化工大学 +10200,东北师范大学 +10201,北华大学 +10204,吉林工程技术师范学院 +10212,黑龙江大学 +10213,哈尔滨工业大学 +10214,哈尔滨理工大学 +10216,燕山大学 +10217,哈尔滨工程大学 +10219,黑龙江科技大学 +10220,东北石油大学 +10222,佳木斯大学 +10225,东北林业大学 +10232,齐齐哈尔大学 +10246,复旦大学 +10247,同济大学 +10248,上海交通大学 +10251,华东理工大学 +10252,上海理工大学 +10254,上海海事大学 +10255,东华大学 +10256,上海电力大学 +10259,上海应用技术大学 +10269,华东师范大学 +10280,上海大学 +10284,南京大学 +10285,苏州大学 +10286,东南大学 +10287,南京航空航天大学 +10288,南京理工大学 +10289,江苏科技大学 +10290,中国矿业大学 +10291,南京工业大学 +10292,常州大学 +10294,河海大学 +10295,江南大学 +10298,南京林业大学 +10299,江苏大学 +10300,南京信息工程大学 +10304,南通大学 +10305,盐城工学院 +10307,南京农业大学 +10319,南京师范大学 +10323,淮阴师范学院 +10332,苏州科技大学 +10335,浙江大学 +10336,杭州电子科技大学 +10337,浙江工业大学 +10338,浙江理工大学 +10340,浙江海洋大学 +10341,浙江农林大学 +10345,浙江师范大学 +10346,杭州师范大学 +10347,湖州师范大学 +10349,绍兴大学 +10350,台州学院 +10351,温州大学 +10352,丽水学院 +10354,嘉兴大学 +10356,中国计量大学 +10357,安徽大学 +10358,中国科学技术大学 +10359,合肥工业大学 +10360,安徽工业大学 +10361,安徽理工大学 +10363,安徽工程大学 +10364,安徽农业大学 +10371,阜阳师范大学 +10372,安庆师范大学 +10379,宿州学院 +10384,厦门大学 +10385,华侨大学 +10386,福州大学 +10388,福建理工大学 +10389,福建农林大学 +10394,福建师范大学 +10398,宁德师范学院 +10402,闽南师范大学 +10403,南昌大学 +10404,华东交通大学 +10405,东华理工大学 +10406,南昌航空大学 +10407,江西理工大学 +10408,景德镇陶瓷大学 +10410,江西农业大学 +10414,江西师范大学 +10418,赣南师范大学 +10419,井冈山大学 +10422,山东大学 +10423,中国海洋大学 +10424,山东科技大学 +10425,中国石油大学(华东) +10426,青岛科技大学 +10427,济南大学 +10429,青岛理工大学 +10430,山东建筑大学 +10431,齐鲁工业大学 +10433,山东理工大学 +10434,山东农业大学 +10435,青岛农业大学 +10445,山东师范大学 +10447,聊城大学 +10448,德州学院 +10449,山东航空学院 +10451,鲁东大学 +10452,临沂大学 +10459,郑州大学 +10460,河南理工大学 +10462,郑州轻工业大学 +10463,河南工业大学 +10464,河南科技大学 +10465,中原工学院 +10466,河南农业大学 +10475,河南大学 +10476,河南师范大学 +10479,安阳师范学院 +10481,南阳师范学院 +10485,郑州航空工业管理学院 +10486,武汉大学 +10487,华中科技大学 +10488,武汉科技大学 +10490,武汉工程大学 +10491,中国地质大学(武汉) +10495,武汉纺织大学 +10496,武汉轻工大学 +10497,武汉理工大学 +10500,湖北工业大学 +10511,华中师范大学 +10512,湖北大学 +10517,湖北民族大学 +10519,湖北文理学院 +10524,中南民族大学 +10525,湖北汽车工业学院 +10528,湖北工程学院 +10530,湘潭大学 +10531,吉首大学 +10532,湖南大学 +10533,中南大学 +10534,湖南科技大学 +10536,长沙理工大学 +10538,中南林业科技大学 +10542,湖南师范大学 +10543,湖南理工大学 +10546,衡阳师范学院 +10549,湖南文理学院 +10555,南华大学 +10558,中山大学 +10559,暨南大学 +10560,汕头大学 +10561,华南理工大学 +10564,华南农业大学 +10566,广东海洋大学 +10574,华南师范大学 +10577,惠州学院 +10589,海南大学 +10590,深圳大学 +10593,广西大学 +10594,广西科技大学 +10595,桂林电子科技大学 +10596,桂林理工大学 +10602,广西师范大学 +10603,南宁师范大学 +10606,玉林师范学院 +10608,广西民族大学 +10610,四川大学 +10611,重庆大学 +10613,西南交通大学 +10614,电子科技大学 +10615,西南石油大学 +10616,成都理工大学 +10618,重庆交通大学 +10619,西南科技大学 +10622,四川轻化工大学 +10623,西华大学 +10624,中国民用航空飞行学院 +10626,四川农业大学 +10635,西南大学 +10638,西华师范大学 +10642,重庆文理学院 +10647,长江师范学院 +10649,乐山师范学院 +10656,西南民族大学 +10657,贵州大学 +10663,贵州师范大学 +10665,铜仁学院 +10672,贵州民族大学 +10673,云南大学 +10674,昆明理工大学 +10677,西南林业大学 +10679,大理大学 +10684,曲靖师范学院 +10687,红河学院 +10691,云南民族大学 +10697,西北大学 +10698,西安交通大学 +10699,西北工业大学 +10700,西安理工大学 +10701,西安电子科技大学 +10702,西安工业大学 +10703,西安建筑科技大学 +10704,西安科技大学 +10705,西安石油大学 +10708,陕西科技大学 +10709,西安工程大学 +10710,长安大学 +10718,陕西师范大学 +10719,延安大学 +10720,陕西理工大学 +10721,宝鸡文理学院 +10730,兰州大学 +10731,兰州理工大学 +10732,兰州交通大学 +10736,西北师范大学 +10737,兰州城市学院 +10738,陇东学院 +10739,天水师范大学 +10740,河西学院 +10742,西北民族大学 +10743,青海大学 +10748,青海民族大学 +10749,宁夏大学 +10753,宁夏师范大学 +10755,新疆大学 +10757,塔里木大学 +10759,石河子大学 +10762,新疆师范大学 +10792,天津城建大学 +10856,上海工程技术大学 +10878,安徽建筑大学 +10879,安徽科技工程大学 +10904,枣庄学院 +10919,平顶山学院 +10976,贵阳学院 +10997,昌吉学院 +11035,沈阳大学 +11049,淮安大学 +11058,宁波工程学院 +11059,合肥大学 +11062,厦门理工学院 +11065,青岛大学 +11066,烟台大学 +11075,三峡大学 +11078,广州大学 +11079,成都大学 +11100,海南热带海洋学院 +11117,扬州大学 +11276,南京工程学院 +11311,三明学院 +11342,湖南工程学院 +11347,仲恺农业工程学院 +11349,五邑大学 +11360,攀枝花学院 +11393,昆明学院 +11395,榆林大学 +11396,商洛学院 +11407,北方民族大学 +11413,中国矿业大学(北京) +11414,中国石油大学(北京) +11415,中国地质大学(北京) +11458,上海电机学院 +11463,江苏理工学院 +11488,衢州学院 +11527,湖南城市学院 +11535,湖南工业大学 +11551,重庆科技大学 +11607,北部湾大学 +11629,北华航天工业学院 +11632,沈阳工程学院 +11641,江苏海洋大学 +11646,宁波大学 +11656,广东石油化工学院 +11658,海南师范大学 +11660,重庆理工大学 +11765,河南城建学院 +11799,重庆工商大学 +11819,东莞理工学院 +11838,贺州学院 +11845,广东工业大学 +11847,佛山大学 +12026,大连民族大学 +12044,上海第二工业大学 +12544,宁夏理工学院 +12715,西京学院 +13022,浙大宁波理工学院 +13573,金陵科技学院 +14223,贵州师范学院 +14325,南方科技大学 +14423,上海科技大学 +14430,中国科学院大学 +82201,中国林业科学研究院 +83706,中国制浆造纸研究院 +84901,中国建筑材料科学研究总院 +86301,石油化工科学研究院 +86403,北京有色金属研究总院 +92002,国防科技大学 +92005,陆军兵种大学 +92010,陆军防化学院 +92036,联勤保障部队工程大学