Files
yanxuan/docs/README_ggyx采集.md
T

14 KiB
Raw Blame History

ggyx 择校数据库说明

库文件:D:\ggyx_data\ggyx.db(SQLite 3,WAL 模式,929 MB,52 张表 + 15 个视图) 导出目录:D:\ggyx_data\db_export\(每个表/视图一份 UTF-8-BOM CSV) 数据字典:D:\ggyx_data\DATA_DICT.md 生成时间:2026-10-20


一、总量

层级 表 行数
院校 dim_school / v_school_all 1,038 / 1,039
院系 dim_dept 7,002
专业 dim_major 1,342
硕士点 hot_triple 19,686(全日制 18,237 / 非全 1,449)
调剂公告 adjust_notice 85,487(2023–2026)
拟录取/复试名单 admission_list 672,671
分数段 score_segment 94,920
分数去向 score_dest 27,719
调剂标签 ssd_tag 55,848
推荐考分 exam_score 201,901(2023-2026 四届,941 专业 / 17,730 硕士点)
科目分数分布 exam_dist 891,757(2023-2026 四届)
生源构成 st_source 274,761
院校×专业对比 major_contrast 51,084
全国院校排名 major_school_rank 18,514
调剂生源构成 major_analyze 5,760
预调剂报名排名 pre_adjust_rank 169,049
上岸学长学姐 prosgraduate 242,459(含头像,覆盖率 95.4%)
参考书 book_ref 35,647
参考书作者 book_author 59,609
考试科目字典 exam_subject 9,006
专业热度榜 major_hot_rank 1,518(含排名升降)
专业内院校热度榜 major_school_hot 8,362(含招生数/一志愿最低分/拟录取最低分)
同等学力限制硕士点 major_limit_tag 5,638(一志愿未招满 2,389 + 一志愿差额 3,249,含计划招生数)
全国报录比基准 fill_stat 3(快照序列,样本 250 万)
学科评估 dim_xkpg 5,147(371 校,A+~B-)
科研平台 dim_kypt 368(141 校国家重点实验室等)
历史身份映射 triple_hist 19,686(2023-2026 各年 xy/major 代码)
榜单指标(推导) major_rank_metrics 19,686(400+人数/非全录取/初试前十/复录比)
历史复录比汇总 getfs_hist_all 49,124(2023-2026 四届)
历史复录比分数段 getfs_seg_all 298,880(2023-2026 四届)
历史分数去向汇总 fs_dest_hist 9,309(2024-2025)
历史分数去向明细 fs_dest_person 61,393(2024-2025,逐考生)
扩招缩招/录取分骤降 major_yoy_metrics 17,361(各届录取数/最低分/增量)
社区文章 article 15,179
用户晒分 exam_person 7,242
可调剂专业 school_adjust_major 9,246
院校代码 dim_school_code 1,038

合计 约 394 万行(含 fact_raw 98,430 + fact_raw2 43,398 两份原始包与采集日志;业务数据约 330 万行)。

二、择校视角:三个现成视图

视图 粒度 行数 一条记录能看到什么
v_school_choice 硕士点 19,686 院校层次/地区/院校代码 + 专业全国排名 + 外调剂最低分/人数 + 拟录取数/复试数/最低分 + 预调剂报名人数 + 上岸学长方数 + 参考书数 + 专业标签
v_school_profile 院校 1,038 硕士点数/专业数/院系数/名单数/公告数/对比记录数/最低分/预调剂量
v_major_choice 专业 1,342 开设院校数/硕士点数/外调剂最低分区间(avg/min/max)/参考书数/科目数/上岸学长方数

v_school_choice 的字段顺序(做筛选时的抓手):

school_id xy_id major_id is_quan sch_name xy_name maj_name
province city sch_label(985,211,双一流) is_985 is_211 is_syl hot_sum
sch_level sch_code tag_text(过线就能上,专业课给分足,有调剂,…)
rank_in_major(专业内全国排名) n_adjust_total n_wai_tj wai_tj_min_score
hot_num n_admit_total n_retest min_score rec_score
n_pre_apply pre_max_score n_prosgraduate n_book

三、覆盖度(分母 19,686 个硕士点)

指标 覆盖 比例
有拟录取名单 19,286 98.0%
有复试名单 15,414 78.3%
有分数段 14,292 72.6%
有推荐考分 17,730 90.1%(2023-2026 四届合计;单届 2026 为 15,170,941/1,342 专业)
有历史复录比 17,361 88.2%(2023-2025 至少一年有数据)
有最低分 14,669 74.5%
有调剂标签 19,110 97.1%
有院校专业标签 19,493 99.0%
有预调剂排名 15,441 78.4%
有上岸学长记录 18,010 91.5%
有分数去向 4,847 24.6%(2026 届;2024-2025 另 9,309 个在 fs_dest_hist)
有 VIP 抄底记录 2,389 12.1%(未招满)+ 3,249(差额)

专业级:1,292 / 1,342 个专业有院校对比(96%),994 个专业有全国调剂排名(74%),1,291 个专业有参考书(96%)。

四、免费 / 登录 分界

状态 数量 说明
未登录即可拿 38 调剂公告、专业库、部分字典
仅登录后可拿 87 登录后全部解锁,24 个有数据
仍需 VIP 约 10 学费/学制(fx/oth_info)、Contrastnew/index_tab、sch/news/search、zt_detail 等

登录态存在 collect\token.txt(32 位 hex),ggyx.py 自动带上。失效后双击 ggyx_login.bat 登录,再跑 grab_token.py。

五、已抓到的接口

接口 内容 落表
adjust/index/adjust_list 调剂公告(2023–2026) adjust_notice
adjust/Hot/schoolRanking 硕士点榜 19,686 条 hot_triple
sch/schinfo/sel_ssd2 专业库 1,342 条 dim_major
adjust/ad26/fx/tab_list 拟录取 / 复试名单 admission_list
sch/schinfo/getfs 一志愿复试录取分数段 score_segment
sch/schinfo/fs_destination 录取考生本科去向 score_dest
sch/schinfo/ssd_tag 招生/调剂标签 ssd_tag
sch/schinfo/exam_score 推荐考分 + 科目分布 exam_score / exam_dist
sch/schinfo/st_source 生源构成 st_source
adjust/hot/majorSchoolRanking 按专业:全国院校调剂排名 + 外调剂最低分 major_school_rank
sch/Contrastnew/search_sdd 按专业:全国院校对比 + 院校专业标签 major_contrast
adjust/hot/majorAnalyze 按专业:调剂生源层次构成 major_analyze
adjust/Pre_Adjustment/ranking 按硕士点:预调剂报名者分数排名 pre_adjust_rank
guada/article/ssd_prosgraduate 按硕士点:上岸学长分数与去向 prosgraduate
search/book 按专业:参考书清单 + 使用院校数 book_ref
search/author 按专业+书名:作者/版次/出版社 book_author
search/kskm2 按一级学科:政治/外语/数学/专业课科目表 exam_subject
guada/Article/article_list_hot_time 社区文章 article
guada/article/tj_person 用户晒分 exam_person
sch/schinfo/sch_xkpg 学科评估 + 科研平台(只要 school_id) dim_xkpg / dim_kypt
sch/schinfo/checkssd 硕士点 2023-2026 历史身份映射 triple_hist
sch/schinfo/cant_list VIP抄底两类:type=cant_list 未招满 / type=difference_list 差额(按 major_id,per_page=2 须翻页) major_limit_tag
sch/schinfo/getfs year=2023..2025 历史复录比 + 分段复试/录取/淘汰 getfs_hist / getfs_seg → getfs_hist_all / getfs_seg_all
sch/schinfo/fs_destination year=2024/2025 历史分数去向(层次/区域/逐考生) fs_dest_hist / fs_dest_person
sch/schinfo/exam_score year=2023/2024 历史推荐考分 + 科目分布 exam_score / exam_dist(year 维度)

六、目录结构

路径 内容
ggyx.db 成品数据库,直接可用
db_export/*.csv 全表 CSV 导出
DATA_DICT.md 表结构、字段、示例查询
endpoints/ 212 个接口的原始解密 JSON
adjust_final_{2023..2026}.json 四年调剂公告去重合并
adjust_by_school/{年}/ 3,712 个校名分片
manifest.csv 首轮逐接口 code / 行数 / 字节 / 耗时
collect/ 采集脚本(见下)

七、脚本

脚本 用途
collect/ggyx.py 加解密 + 请求封装(自动带 token)
collect/build_db.py 从原始文件重建维度与大表(幂等)
collect/collect_triples.py 19,686 个硕士点 × 2 类名单
collect/collect_schools.py 按院校补资讯 / 可调剂专业
collect/collect_gated2.py 登录后补 5 个分数类接口
collect/collect_more.py 专业级 3 接口 + 深接口 2 个(批量落库)
collect/collect_exam.py 参考书 / 作者 / 考试科目
collect/normalize_facts.py fact_raw → 规范表
collect/normalize_more.py fact_raw2 → 排名/对比/生源/预调剂/学长
collect/fill_schools.py 对比表里的院校反查 school_id
collect/fill_notice_schools.py 公告里的院校反查 school_id
collect/finalize.py 择校全景视图(v_school_choice 等)
collect/export.py 建视图、导 CSV、质量核对
collect/gen_dict.py 生成 DATA_DICT.md
collect/collect_avatar.py 学长头像回填(231,299 条)
collect/collect_new.py 新发现 6 接口(热度榜/限制标签/报录比快照/问卷/届数)
collect/merge_gap.py 第四轮合并(学科评估/历史映射/2025 单科/榜单指标)
collect/merge_round6.py 第六轮合并(历史复录比/分数去向/2024-23 单科/抄底双类)
collect/derive_yoy.py 推导 2023-2026 统一历史层 + 扩招缩招/录取分骤降指标
collect/fetch_chsi_exact.py 研招网 2027 目录精确驱动(按我们宇宙的 10,593 分片,断点续跑)
collect/grab_token.py 从已登录 Chrome 读 token

八、常用查询

-- 1) 某专业全国院校榜(含外调剂最低分与院校专业标签)
SELECT rank_in_major, sch_name, xy_name, n_wai_tj, wai_tj_min_score, tag_text
FROM v_school_choice WHERE maj_name='电子信息' AND rank_in_major IS NOT NULL
ORDER BY rank_in_major LIMIT 30;

-- 2) 捡漏:有调剂、外调剂线低、预调剂报名少
SELECT sch_name, maj_name, wai_tj_min_score, n_admit_total, n_pre_apply, tag_text
FROM v_school_choice
WHERE tag_text LIKE '%过线就能上%' AND wai_tj_min_score > 0
ORDER BY wai_tj_min_score LIMIT 50;

-- 3) 某专业考什么、看什么书
SELECT kind_name, subj_code, subj_show FROM exam_subject WHERE one_name LIKE '%0854%' AND kind=4;
SELECT book_name, n_school FROM book_ref WHERE major_id=424 ORDER BY n_school DESC LIMIT 20;

-- 4) 某硕士点预调剂报名分数分布(看竞争)
SELECT ranking, total_score, sch_label_text, bk_sch_label_text
FROM pre_adjust_rank WHERE school_id=10 AND xy_id=11017 AND major_id=424 ORDER BY ranking;

-- 5) 某专业调剂生源被哪些层次院校拿走
SELECT block_name, level_name, value FROM major_analyze WHERE major_id=424 ORDER BY block_name, value DESC;

-- 6) 院校画像
SELECT * FROM v_school_profile WHERE sch_name='昆明理工大学';

-- 7) 专业画像(分数线区间 + 参考书 + 科目)
SELECT * FROM v_major_choice WHERE major_name LIKE '%计算机%';

九、核对方法

  1. hot_triple 应为 19,686 行;adjust_notice 分年 2023=20,150 / 2024=14,525 / 2025=23,372 / 2026=27,440,合计 85,487。
  2. admission_list 中 list_type=1 拟录取、=2 复试;孤儿记录(三元组不在热榜)应为 0。
  3. v_school_choice 应等于 19,686 行(与 hot_triple 一一对应,不因关联而膨胀)。
  4. 各 collect_log* 记录任务级成败,fact_raw* 保留原始响应,便于判断"服务端没数据"还是"抓取失败"。

十、已知边界(拿不到的数据)

  1. 学费:adjust/ad26/fx/oth_info 返回「请先购买调剂vip」,无免费孪生接口;研招网目录接口(dwzys/yjfxs.do)也不返学费。现有 1,612 条来自公告正文提取(src_tuition,在主库)。
  2. 学制:站点侧同上学费接口;研招网 zybz 备注仅约 3% 含"学习年限N年"。现有 4,276 条来自简章提取(src_tuition,在主库)。
  3. 学科评估:已全量采集(dim_xkpg 5,147 条,站点即全量)。
  4. 复试线 / 自划线:sch/schinfo/cut_score 全参数返回空;实际可用的分数线是 score_segment(分数段)与 v_triple_full.min_score。
  5. 招生计划人数:站点侧 cant_list 的 plan_zs_num(5,638 行);官方计划数另走研招网 2027 目录(nzsrs,见主库 chsi_2027_dir,采集中)。
  6. 报录比:无官方报考人数;filling/statistics 只返回全站汇总(不随硕士点变化),已存 3 份快照看趋势;竞争度可用 pre_adjust_rank(预调剂报名量)+ n_retest(复试人数)近似。
  7. year 参数的真相:tab_list、schoolRanking、majorSchoolRanking 的 year 无效(历均返回最新);但 getfs / fs_destination / exam_score 支持 year,已采 2023-2026 四届;guada/article/ssd_prosgraduate 忽略 year(2023 回包与 2026 完全相同,已作废去重)。
  8. pro_list_new 名为"专业目录",实为 A/B 区省份字典;考试科目走 search/kskm2(需 major_one_id + maj_id + type)。
  9. sch/news/list 多数院校返回同一批全局资讯,去重后仅 3 条,school_news 参考价值低。
  10. 607 条公告无院校署名(源站标为"未标注院校"),无法归属。
  11. hot_num 语义已裁定:热度榜排序键(平台热度指数 1-289,非人数),ranking 与 hot_num 严格单调 0 违例。
  12. fx_detail 看似返回报录比/招生/报考人数,实测 6 个不同三元组返回完全相同数据——是账号个人目标设定,无法批量采集。