2027 考研数据汇总库
数据库:数据库/zexiao_2027.db(SQLite,10.92 GB,128 表 / 17 视图)
脚本:build_db.py 全量建库 · rebuild_mirror.py 追平上游改动(镜像层/规范化层)· ingest_ggyx_all.py 呱呱研选 35 表全量镜像 · ingest_ggyx_archive.py 归档文件登记 · fetch_official.py 抓取与清洗 · build_gov_index.py 收拢官方机构层成果 · ingest_gov.py 机构公告入库 · merge_att_fields.py 附件字段并入 · refresh.py 一键复查 · verify_db.py 自检 · views.sql 视图与索引的唯一定义
对外交付:最新通知.md 最新通知.csv(618 条)· 2027发布状态_按院校.csv(936 行,按文种看谁出了什么)· 交叉核对_目标专业与最新通知.csv(1,942 行)· 未覆盖入口清单.csv(308 所,带下一步建议)
2027 各类文件的发布进度(截至 2026-09-25)
v_2027_发布状态 每校一行,按文种给出最新日期。当前有值院校数:
| 文种 | 已发布院校 | 说明 |
|---|---|---|
| 科目或专业调整 | 241 | 数量最大,2027 改考潮正在进行,择校最该盯的一类 |
| 考试大纲 | 177 | 自命题大纲多与调整公告同时出 |
| 推免接收 | 104 | 7-9 月密集,推免进程基本已定 |
| 招生专业目录 | 69 | |
| 统考招生简章 | 28 | 这个数偏低是正常的:《2027 年全国硕士研究生招生工作管理规定》2026-09-24 才印发(库里有该通知,南京工程学院、宁德师范学院等校已转发),各校简章历来在其后一至两周才陆续挂出 |
| 复试调剂 | 5 | 复试线要等国线公布后 |
库里含「简章」字样的公告共 1,405 条、覆盖 703 校,但其中只有 77 条标题带 2027,其余是 2025/2026 的历史批次 —— 所以看进度必须同时限「2027」和文种,只看关键词会得出完全错误的结论。
这也正是 refresh.py 存在的理由:简章密集期在 10 月,跑一次就把新挂出的补进来,库里只增不减。
库里有什么
| 层 | 表 | 内容 | 实测 |
|---|---|---|---|
| 镜像层 | src_* 22 张 |
择校/*.csv 逐行镜像,中文列名原样保留,做汇总时按这层回溯 |
22.6 万行 |
| 规范化层 | core_* 25 张 |
与 站点/data/*.jsonl、云端 schema.sql 同名同列,可整体平移到云库。build_db.CORE_TABLES 已于 2026-09-26 补齐到 25 张,但正式库要等下一次建库才跟上,眼下仍是 18 张 / 24.6 万行 |
分片实测 50.2 万行(临时库逐张建过,25 张行数全对上 meta.json 的 source_rows) |
| 通知层 | notices_all |
全部招生通知,一条公告一行 | 6,302 条 / 777 校 |
| 入口层 | sources |
每校公告栏地址、已见最新公告、last_checked |
936 校,625 校入口已探通 |
| 落盘层 | notice_files |
通知附件的本地路径、字节数、sha1、状态 | 558 个 / 257 MB |
| 附件字段层 | att_fields |
从简章/目录/学费表解析出的逐专业字段,带原文片段 | 1,869 行 / 57 校 |
| 调剂公告层 | adjust_notices adjust_notice_majors |
呱呱研选 2023–2026 调剂公告。主表按(年+校+归一标题)去重,关联表一行=公告×专业,主键为平台原始 id;attach 为平台附件地址,attach_type 区分 pdf/content |
11,370 条 / 85,487 行(2023 20150、2024 14525、2025 23372、2026 27440) |
| 调剂硕士点层 | adjust_ssd_hot |
调剂硕士点热度榜,一行=一个硕士点(校+院+专业+学习形式),四元组唯一。hot_num 语义接口未定义,仅 115 个取值、最大 289,不是人数 |
19,686 行 / 617 校 / 7,002 学院 |
| 呱呱研选全量镜像层 | ggyx_* 35 张 |
D:\ggyx_data\ggyx.db 整库原样搬入,保留原始列类型,末尾加 _ingested_at;配套 ggyx_school_map(934 行,915 所对齐主库校名)/ ggyx_major_map(1,342 行)/ ggyx_archive_index(4,019 个文件逐条登记)/ ggyx_endpoint_manifest(217 条接口清单)。视图 v_ggyx_admit_detail(逐考生 67.3 万)、v_ggyx_segment_detail(分数段 9.5 万)、v_ggyx_triple_full(硕士点全景 1.97 万)、v_ggyx_school_year(970 校)。只有 2026 一年,补不了往年缺口;17 所 985 无数据 |
2,450,083 行 |
| 机构入口层 | gov_sources |
31 个省级教育考试院与教育部、研招网的入口地址与可达性 | 143 条 / 31 省全覆盖 |
| 官方目录层 | chsi_dir chsi_major chsi_school |
研招网 2027 硕士专业目录原始 JSON 入库,0856 逐方向,含官方学位类型/学习方式/考试方式/名额粒度 | 1,987 方向行 / 1,030 组合 / 362 校 |
| 官方对齐层 | chsi_align |
官方行与平台 1942 行逐条对齐,带匹配置信、名额判定 | 1,987 行 |
| 官方复试线层 | src_official_lines |
直接抓院校研招网公开页 → 各院系 PDF → 表格抽取。代码列 TEXT,分数列 INTEGER,原文非数字说明存 note;每行带 src_pdf/src_page 可回溯。增量入库,row_key 主键去重,重跑不产生重复行 |
738 行 / 3 校(郑州大学 2026、东南大学 2023、上海大学 2023) |
| 勘误层 | errata |
核对发现的错值与依据出处,取数前先看这张表 | 186 条,缺依据 0 |
| 核对层 | fee_check |
学费/学制三源逐行核对结论(含口径拦下原因) | 1,942 行 |
| 变更日志 | changelog |
每轮清洗/导入/对齐改了什么、动了多少行 | 67 条 |
| 证据层 | files |
官方资料/ 网页、PDF、表格的路径与哈希 |
9,164 个 / 499 MB |
| 台账 | registry meta sweep_log |
每张表的来源与行列数、批次、每轮扫描结果 | — |
core 层这次补齐的七张:hist_lines(近五年复试线,5.8 万行)、adjust_lists(调剂与一志愿未招满名单,1.1 万行)、outlines(考纲与大纲条目,2,148 行)、school_facts(院校官网事实条目,3,355 行)四张站点早就有分片、但从没进过库;chsi_dir27(研招网 2027 官方目录逐方向对齐层,1,987 行,带 verdict 名额口径判定与 dwdm/code 代码列)、errata(勘误台账,207 行,每行带依据出处)、verify_matrix(近五年逐字段核验矩阵,3.15 万行,国家线/校线/院线与来源证据逐格对齐)三张是站点 2026-09-26 新增的核对层。
两点别踩:core_errata 是站点分片的镜像(207 行),与上面那张自建裁决表 errata(README 记 186 条)不是同一张、条数也不同,取数前分别确认;本次改动只在临时库 D:/zexiao_run/zexiao_check.db 上逐张建表验过,生产库 zexiao_2027.db 尚未重建,仍是 18 张。
官方目录层的用法与红线
优先级高于所有平台列:官方没有的格子保持空,不用第三方值填。两份取数入口:
v_0856_官方2027(1,987 行,一行=官方一个研究方向)与 v_0856_整合2027(1,942 行,现有核对表每行并上官方字段与代码键),
各自对应 接口_0856官方2027.csv / 接口_0856整合2027.csv 与同名 .契约.json(含列语义、主键、排序、数据体 sha1)。
名额是这张表最容易用错的地方。官方 nzsrsstr 有四种粒度 —— 专业: / 研究方向: / 一级学科: / 院系所:,只有「研究方向:」能当本行名额;专业级合计会重复挂在同专业的每个方向行上,摊开就乘出假数(北工大 085600 四个方向共享同一个「专业:10」)。视图的 可采信拟招 已处理过:方向级给本行数,专业级只在该组代表行给一次,共享行为 NULL,下游不得按方向行求和。
python 数据库/integrate_chsi.py # 读 官方资料/研招网2027硕士专业目录/raw → chsi_dir/major/school
python 数据库/align_chsi.py # 与平台 1942 行对齐 + 19 项字段体检,出 0856官方目录_对齐核对.csv
python 数据库/export_api.py # 导出两份稳定接口(逐方向 1,987 行 / 整合宽表 1,942 行)
python 数据库/reconcile_plan27.py # 与本会话无关的第二条管道交叉对账,分歧入 plan27_recon
python 数据库/report_coverage.py # 覆盖率按「官方本轮抓的范围」算,缺口逐行归因
python 数据库/check_encoding.py # 编码体检;fix_encoding.py 只清自建表,不动镜像
python 数据库/inventory.py # 盘点:registry↔源 CSV 漂移、交付物实测行列、官方层覆盖量
对齐前必须做两件事,否则结论会错:校名全半角括号 NFKC 归一(官方「中国石油大学(北京)」对平台全角,不归一有 52 行对不上);比对只在同粒度同口径内做(官方标「不含推免」而平台列含推免,270 行是这个口径差而不是冲突)。
通知按来源分三类:ggyx_api 5,736 条(第三方平台库,含 2023-2026 历史),official_web 566 条(本轮从院校官网直取),gov_official 9 条(教育部、研招网、省级考试院)。
呱呱研选全量镜像层的用法与红线
D:\ggyx_data 全量入库(2026-10-19),详见 docs/ggyx文件夹全量入库报告_20261019.md。
python 数据库/ingest_ggyx_all.py # 35 表镜像 + 桥接 + 4 视图(约 60s,幂等)
python 数据库/ingest_ggyx_archive.py # 4,019 个文件的归档索引 + 覆盖抽验
- 源层,不是口径层。
ggyx_admission_list里list_type=1拟录取、2复试,混着用会得出「录取人数翻倍」的假结论。要"最低分"直接用src_ggyx_lines(四种 kind 已分好),要下钻再用这层。 - 跨源匹配一律走
ggyx_school_map。ggyx 的school_id与主库校名是两套体系,直接按校名 join 会漏;zx_school为空的是 19 所体系外科研院所(中国兵器科学研究院各所、航天五院 510/504 所等),主库本来就没有对应校,不要强行补。 - 只有 2026 一年。除
adjust_notice(2023–2026)外,所有带year的表都只有 2026 这一个取值,拿它补 2021–2024 的缺口是无效的。 - 17 所 985 是空的,
dim_school有校名但hot_triple无硕士点(清华、上交、复旦、浙大、南大、川大、中山、西交、重大、湖大、吉大、人大、电子科大、东北大学、哈工深、哈工威、上交医学院),构造不出三元组,重采也拿不到。 hot_num不是报考人数(全库 115 个取值、最大 289);cs_all_result纯数字占 94.3%,其余是「放弃」「—」「/」,转 INT 前先过滤。
机构层(教育部 / 研招网 / 省级考试院)
gov_sources 是这一层的复查入口台账:143 条地址、31 个省级条目全覆盖、其中 30 省已验证 HTTP 可达。地址全部来自已存档网页里真实出现的链接和上一轮探测记录,没有一个是猜出来的。每行记着 kind(探测种子/存档页面提取)、reachable、页面上发现的链接数、栏目数与检查时间。
实测结论值得记住:这个时点省级几乎还没有 2027 招考公告。逐省探测的原始记录里,每省返回的都是「2027 年硕士研究生招考公告暂未发布或入口不可达」,这类记录我没有当成公告入库,只保留其可达性。真正已入机构的公告是教育部《2027 年全国硕士研究生招生工作管理规定》印发件与部署通知(2026-09-24)、江苏考试院的报考点设置等 9 条。
所以省级报名公告要等 10 月。下次想确认哪个省开始出公告:
python 数据库/build_gov_index.py && python 数据库/ingest_gov.py
sqlite3 数据库/zexiao_2027.db "SELECT prov,url,reachable,links_kept,last_checked FROM gov_sources ORDER BY prov;"
汇总视图 v_2027_核对(33 列)
三个来源的同一字段并排放,谁也不覆盖谁,冲突留在表里自己判:
- 考试科目:
平台统考科目/官方2027初试科目/附件初试科目+科目核对结论 - 复试线:
平台官方复试线/公告提取复试线/官方复试线原文/中公历年院线(909 行有值,含单科线) - 学费学制:
平台学费/官方表格学费/官方简章学费/附件学费 - 招生规模:
平台总招生/官方2027拟招总数/中公招生计划/附件拟招人数/附件推免人数 - 每行还带该校最新通知的日期、标题、链接,以及已存附件数
附件字段与主表按「院校 + 六位专业代码」join,命中 13 行——这是因为核对表只覆盖 39 个专业码,而附件解析覆盖的是调剂视角的 57 校,两批专业的交集本来就窄,不是解析失败。想按院校看全部 1,811 行,直接查 att_fields,每行都有 snippet 原文片段和 src_file 来源文件。
日常复查最新通知
python 数据库/refresh.py --deep --split 6
依次做:反推候选栏目页(零请求)→ 从已存正文再反推缺入口院校的栏目页(--deep)→ 探测公告栏 → 分片并发扫各校(每校除入口首屏外再跟进 --sub 个栏目页,默认 4 个)→ 合并入库、跨源合并、回填日期、抓附件 → 出清单与报告 → 跑自检。
幂等,可反复跑,只增不减。判断新旧靠 notices_all 里已有的 URL 与归一标题。
只看入口首屏会漏:不少学校把 2027 简章挂在入口页的下一级栏目里,所以 --sub 默认开 4 个栏目页。要更深可以 --sub 8,代价是请求量成倍上升。
源 CSV 被别的会话扩列时,跑 python 数据库/rebuild_mirror.py 单独追平镜像层,不会碰通知层和已探好的入口。
手工分步:
python fetch_official.py --derive # 从已有公告深链反推栏目页,不联网
python fetch_official.py --probe --workers 16
python fetch_official.py --sweep --only-empty --shard 0/4 --out 抓取分片/x0.jsonl
python fetch_official.py --ingest 抓取分片/x*.jsonl
python fetch_official.py --consolidate # 跨源合并 + 附件哈希补齐 + 正文脱敏
python fetch_official.py --retitle # 标题清洗规则升级后重刷
python fetch_official.py --backfill # 从已抓正文补发布日期
python fetch_official.py --attach --workers 12
python merge_att_fields.py
python fetch_official.py --report --days 45
python verify_db.py # 失败会返回非零退出码
--out 模式只读库不写库,所以能多路并发;SQLite 多进程写会互相锁住,写完再统一 --ingest。
入库时的六道清洗
抓回的原始条目里噪声占多数,本轮实测各道处理量:
- 降噪 标题要命中招生词族且不含校内事务词,丢弃 1,463 条,约占抓回量的 57%。规则是分层的:先否掉「召开/成交公告/职称/图像采集/培养方案」这类明确无关的,再放行「招生简章/专业目录/复试名单/拟录取/推免」这类强信号,其余才看弱排除词。之所以要分层,是因为院校简章正文常带「拥护中国共产党的领导」「应届本科毕业生」,按词一律排除会误杀真简章。
- 去重 同一公告常被列表页渲染成「标题链接 + 摘要链接」两个不同 URL,按归一标题做前缀匹配合并,本轮 700 条。
- 串校拦截 链接域名与入口域名不同所有方的一律丢弃,本轮 68 条。有院校的入口是聚合跳转页,会把外校公告挂到本校名下。
- 跨源合并 平台行与官网行指向同一链接时合成一条,附件记录跟着迁走。
- 标题清洗 剥掉混进标题的日期(
09-20 2026、182026.09、09.222026等形态)、[ 招生]栏目前缀、【置顶】,并在正文起手词处截断;页面把 JS 片段当标题的直接剔除。 - 附件魔数 只接受
%PDF、PK(docx·xlsx·ofd)、OLE 头、Rar!等真文档签名。本轮剔除 6 个返回 HTML 预览页的假附件,现存 558 个签名全部正确。
拿不到时的兜底顺序
notice_files.status 记着每一项下落:ok 已存档(路径 + sha1 可校验);fail_need_screenshot 抓不下来,detail 是原因,url 是可打开的地址;gone_404 是院校站已撤下,URL 保留、下次 --attach 仍会重试。
下载内置三级兜底:Python 请求 → 放宽证书重试 → curl --ssl-no-revoke 走 Windows 系统证书栈。本轮 SSL 握手失败与超时共 33 项,靠后两级救回 32 项(含一个 52 KB 的通知页和一批 PDF)。
要截图:先在前台打开内置浏览器窗口,再对 fail_need_screenshot 逐个截图存到 官方资料/最新通知2027/<院校>/截图_*.png 并把 status 改成 screenshot。窗口不可见时截图接口会报 NATIVE_BROWSER_VIEWPORT_UNAVAILABLE,那时 take_snapshot 仍可用于读页面结构。
目录里还有什么
官方资料/最新通知2027/ 约 379 MB,其中 269 MB 是 notice_files 登记在册的 576 个简章/目录/大纲附件(116 个院校子目录);其余是 _解析中间件/ 与 _scripts/,即把 PDF 转成 HTML 再抽表格的过程产物。公告抽取_2027附件字段.csv 每行都带来源文件路径与原文片段,所以这两个目录确认不需要后可直接删,不影响任何已交付数据。官方资料/官方公告2027/(34 MB)同理,是教育部与省级考试院的存档和解析脚本。
数据库/抓取分片/ 是每轮扫描的原始 JSONL(约 24 MB),入库后可删;留着的好处是不必重新联网就能重放 --ingest。
内容审计与报告
verify_db.py 只管结构与溯源。内容对不对要另跑:
python 数据库/audit_content.py --diff # A 正文核对 / B 附件值回溯原文 / C 多源规范化比较
python 数据库/gen_report.py # 出 覆盖与核对报告.md,逐校覆盖与缺口性质另出 各校2027覆盖清单.csv
audit_content.py 的 C 会做规范化再比,避免把格式差异当矛盾:金额统一成元(1.0万元/生学年 与 10000 算一致)、科目取三位码集合、带年份标注的值只在同年份内比。差异表只导「两侧各有对方没有的」这类真矛盾,每年一份历史值不会混进来。
B 的核验方式说明白一点,避免误读:PDF 表格转文本后,一行的数字可能离专业代码很远,所以「锚到对应行」的比例天然偏低(当前约两成),真正要保证的是值在原文里存在(这项为 100%)。看 att_fields 的人数类字段时顺带对一眼 snippet。
字段级核对与勘误层
结构之外还要查「这个格子的值对不对」,用下面四个脚本,都可重跑、数字现取:
python 数据库/check_fee.py # 学费/学制三源逐行核对(平台列 × 官网公告 × 附件)
python 数据库/adjudicate_fee.py # 真冲突回官方简章分档原文逐条判定
python 数据库/check_numeric_purity.py # 两张主表所有数值语义列的纯度体检,坏格逐格导出
python 数据库/build_errata.py # 上面判出的错值汇总成 数据勘误.csv 并入库 errata
check_fee.py 的关键是先对齐口径再比:学硕/专硕(按专业代码第 3 位判,5-8 是专业学位类别)、全日制/非全、元/学年 与 元/总。不对齐会造出一堆假冲突(早先一次 naive 比出 25 行「不一致」,对齐后真冲突只剩 17 行)。拦下的行不删值,而是在 口径拦下原因 列写明为什么不用它。
adjudicate_fee.py 里放的不是手填的数字,而是每所院校官方简章的分档原文句子;脚本先回 notices_all 里验这句确实在库中,再按本行的学位类型与学习方式算应缴值。原文只写「详见专业目录」的,判「无定论」而不是猜一个。
errata 表(数据勘误.csv 同源)是「哪些格子已知不可信」的唯一入口,verify_db.py 会校验每条都带依据出处。取数时先左连它,命中 不采信 的不要用;复试线 一列 25 处还能直接改用官方原文值(correct_value)。
直接查库
sqlite3 数据库/zexiao_2027.db "SELECT field,action,COUNT(*) FROM errata GROUP BY 1,2;"
sqlite3 数据库/zexiao_2027.db "SELECT school,code,fee_trusted,verdict FROM fee_check WHERE verdict LIKE '取值冲突%';"
直接查库
sqlite3 数据库/zexiao_2027.db "SELECT pub_date,school,title,url FROM notices_all WHERE title LIKE '%2027%' ORDER BY pub_date DESC LIMIT 30;"
sqlite3 数据库/zexiao_2027.db "SELECT 院校,学院,专业代码,平台学费,官方表格学费,附件学费 FROM v_2027_核对 WHERE 附件学费 IS NOT NULL;"
sqlite3 数据库/zexiao_2027.db "SELECT school,field,value,snippet,src_file FROM att_fields WHERE field='拟招生人数' LIMIT 20;"
sqlite3 数据库/zexiao_2027.db "SELECT 院校,entry_url,last_checked FROM sources WHERE entry_url IS NOT NULL;"
中文列名要用双引号。专业代码、院校代码按列判定是否含前导零来决定存文本还是数值,085600 查得到;数值列用 NUMERIC 亲和,所以 id 不会变成 6.0。
已知边界
- 编码脏字符分两层处理:
src_*(源 CSV 镜像)与core_*(站点分片镜像)里的零宽字符、控制字符、全半角括号混用一律不改值,否则会与源文件不一致、并和网站会话写的分片对不上;改在读取侧 NFKC 归一(align_chsi.nm、export_api都已做)。自建表(notices_all/chsi_*/errata/fee_check/sources/att_fields)则由fix_encoding.py清干净,每格改动写进changelog。当前自建表命中 0 处,镜像层仍有 189 处,属有意保留。 - 官方目录层自身的缺口:34 个源文件带
truncated_at_10(第 10 行后可能还有页未取),涉及 425 行,已照收但置src_truncated=1,其名额冲突一律判「待复核」而不是断言平台错;另有 3 组官方内部矛盾(同专业码下方向级之和大于专业级合计)。补这些要重跑抓取,本地推不出来。 - 两列来自并行会话的抽取存在正文粘连,用之前务必抽查:
src_target_major_checked.学费有 949/1,115 行超过 40 字(如天津大学的值把整张学费表和一串奖助描述连在一起),官方简章_学费学制分档253 行整列都是简章段落(复旦那条从「上海市浦东新区张衡路825号」的地址段落起头)。这是源 CSV 的问题,verify_db.py会以 WARN 打印但不计入库完整性失败;我没有改写别的会话的交付表。 - 311 所院校没探到公告栏入口(
sources.fetch_state='no_channel'或入口为空)。其中约 143 所平台侧已有公告,只是缺官网复核入口;其余 165 所连平台公告都没有,多为近年新增硕士点、院系所和研究院,公告常挂在校内子站或需 JS 渲染。明细与逐校建议见未覆盖入口清单.csv,这是当前真实死角,不是漏抓。 - 呱呱研选接口(
考研择校/fetch_news.py)本轮令牌失效(code=201 登录失效),Edge 本地已扫不到候选令牌,需在浏览器重新登录m.ggyx666.com后跑read_browser_token.py。更要紧的是:该平台公告列表按发布日期倒序分页,news_index.meta.json的next_page已在末页 582,直接重跑只会请求越界页而看不到新公告,增量必须改成按release_time在前面几页早停。官网直取这一路不依赖它。 - 云站点
zexiao-data-desk-ss9dc50wpj5.qoder.website仍是本轮之前的静态快照;新入库的官网通知与att_fields要通过本库或最新通知.csv看。要把它们上站点,需给站点/tools/normalize.py加一条从本库读notices_all/att_fields的入口并重新发布。 files只覆盖官方资料/;考研择校/下的接口原始响应属于证据留档,未入表。- 公示名单含姓名与考生编号,属院校官方公示可留,但只以聚合形态(人数、分数分布)进交付表,逐条列只在
src_admit_roster备查。通知正文里的完整身份证号一律打码,院校研招办电话与邮箱属官方公开信息,保留。