139 lines
7.8 KiB
Python
139 lines
7.8 KiB
Python
# -*- coding: utf-8 -*-
|
||
"""导出网站会话可消费的稳定数据接口:固定文件名 + 列契约 + 校验和。
|
||
|
||
两份输出,粒度不同,别混用:
|
||
接口_0856官方2027.csv 视图 v_0856_官方2027 一行 = 官方一个研究方向(1,987 行)
|
||
接口_0856整合2027.csv 视图 v_0856_整合2027 一行 = 现有核对表一行(1,942 行),官方字段并进来
|
||
|
||
只读视图,不碰站点任何前端文件。行序固定,重复跑数据体字节一致(时间戳列除外),
|
||
下游可比 data_sha1_excl_header 确认拿到的是同一版。
|
||
"""
|
||
import csv
|
||
import hashlib
|
||
import io
|
||
import json
|
||
import os
|
||
import sqlite3
|
||
import sys
|
||
import time
|
||
|
||
sys.stdout.reconfigure(encoding="utf-8", errors="replace")
|
||
HERE = os.path.dirname(os.path.abspath(__file__))
|
||
ROOT = os.path.dirname(HERE)
|
||
DB = os.path.join(HERE, "zexiao_2027.db")
|
||
|
||
SPEC_COMMON = {
|
||
"source": "官方资料/研招网2027硕士专业目录/raw(研招网 CHSI 2027 硕士专业目录原始 JSON)",
|
||
"encoding": "utf-8-sig",
|
||
"rules": ["官方缺失的格子保持空,不得用第三方平台值填充",
|
||
"专业级合计只出现一次,下游不得按方向行求和",
|
||
"「勘误处置」非空的格子先读该行再用",
|
||
"平台*/推导列仅作核验参考,与官方实测列分列不合并"],
|
||
}
|
||
|
||
SEM_DIR = {
|
||
"单位代码": ("text", "研招网院校代码,5 位文本,保留前导零"),
|
||
"院校": ("text", "官方层院校全称;与平台写法可能有全半角差异,关联用单位代码"),
|
||
"院系所": ("text", "官方院系所名称"),
|
||
"专业代码": ("text", "6 位文本,保留前导零"),
|
||
"专业名称": ("text", ""), "研究方向": ("text", "同一专业码下多行"),
|
||
"官方学位类型": ("text", "取自研招网 majors 原文,非码表推导"),
|
||
"官方学习方式": ("text", "全日制 / 非全日制"),
|
||
"官方考试方式": ("text", "统考(21) / 单考(23);单考另有一套科目码,不与平台统考口径互比"),
|
||
"名额粒度": ("text", "方向级 / 专业级 / 一级学科级 / 院系所级 —— 决定能否当本行名额"),
|
||
"官方名额": ("int", "官方 nzsrsstr 解析值,粒度见上一列"),
|
||
"名额口径": ("text", "官方是否标「不含推免」"),
|
||
"官方名额原文": ("text", "原始字符串,便于回溯"),
|
||
"可采信拟招": ("int", "可直接用的值:方向级给本行数;专业级只在该组代表行给一次,共享行为空"),
|
||
"平台官方2027拟招": ("text", "平台列,仅核验参考"),
|
||
"平台官方2027推免": ("text", "平台列,仅核验参考"),
|
||
"官方与平台判定": ("text", "一致 / 口径差(平台含推免) / 粒度错配(平台为合计) / "
|
||
"官方源未取全页·待复核 / 不一致 / 共享 / 单考不参与"),
|
||
"匹配置信": ("text", "校+码+院 / 校+码(学院待判) / 未匹配"),
|
||
"勘误处置": ("text", "非空即该格已在勘误层登记"),
|
||
"勘误正确值": ("text", "勘误给出的可替代值,空表示无可靠替代值"),
|
||
"数据完整性": ("text", "可能未取全页 = 源文件第 10 行后或有未取页"),
|
||
"目录年份": ("text", "官方目录届别,恒为 2027"),
|
||
"源文件": ("text", "研招网存档 JSON 相对路径,逐行可回溯"),
|
||
}
|
||
|
||
SEM_WIDE = {
|
||
"院校": ("text", "现有核对表校名"), "专业代码": ("text", "6 位文本,保留前导零"),
|
||
"学院": ("text", "现有核对表院系名"), "专业名称": ("text", ""),
|
||
"学习方式": ("text", "全日制 / 非全日制"),
|
||
"省份": ("text", ""), "城市": ("text", ""), "层次": ("text", "985/211/双一流等标签"),
|
||
"官方单位代码": ("text", "补齐的代码键;为空表示官方层未覆盖此行,值保持空"),
|
||
"官方院系所代码": ("text", "官方三级码,平台侧此前没有这一列"),
|
||
"官方学位类型": ("text", "官方原文(专业学位/学术学位)"),
|
||
"官方考试方式码": ("text", "21 统考 / 23 单考"), "官方考试方式": ("text", ""),
|
||
"官方名额粒度": ("text", "该行官方名额所属粒度"),
|
||
"官方名额_不含推免": ("int", "官方口径的不含推免名额,与平台同名列可比"),
|
||
"官方名额原文": ("text", "官方 nzsrsstr 原文"),
|
||
"官方方向数": ("int", "官方该专业码下方向条数(已去重到院系×方式)"),
|
||
"官方科目码": ("text", "官方科目代码集合,逗号分隔"),
|
||
"平台2027拟招含推免": ("text", "平台列,含推免口径"),
|
||
"平台2027推免": ("text", "平台列"), "平台2027不含推免": ("text", "平台列,与官方名额同口径可比"),
|
||
"平台2027科目": ("text", "平台列"), "平台2027方向数": ("text", "平台列"),
|
||
"平台完整性": ("text", "另一管道自报的抓取完整性"), "平台匹配方式": ("text", "另一管道的匹配置信"),
|
||
"院校目录来源": ("text", "院校自挂目录表 URL(官方第二来源)"),
|
||
"研招网链接": ("text", "研招网院校页"),
|
||
"对账官方值": ("text", "两条独立管道对账时 A 侧值"), "对账平台值": ("text", "B 侧值"),
|
||
"对账项": ("text", "名额 / 方向数 / 科目 / 待判"), "对账说明": ("text", ""),
|
||
"勘误处置": ("text", "非空即该格已登记错值,先读再用"),
|
||
"官方覆盖": ("text", "官方已覆盖 / 官方未覆盖此行(未覆盖就是空,不用平台填)"),
|
||
"官方源文件": ("text", "存档 JSON 相对路径"), "官方入库时间": ("text", "chsi 导入时刻"),
|
||
}
|
||
|
||
EXPORTS = [
|
||
{"view": "v_0856_官方2027", "out": "接口_0856官方2027.csv", "sem": SEM_DIR,
|
||
"key": ["单位代码", "专业代码", "院系所", "研究方向"],
|
||
"order": "ORDER BY 单位代码, 专业代码, 院系所, 研究方向",
|
||
"grain": "一行 = 官方一个研究方向"},
|
||
{"view": "v_0856_整合2027", "out": "接口_0856整合2027.csv", "sem": SEM_WIDE,
|
||
"key": ["院校", "专业代码", "学院", "学习方式"],
|
||
"order": "ORDER BY 院校, 专业代码, 学院, 学习方式",
|
||
"grain": "一行 = 现有核对表一行,官方字段并入"},
|
||
]
|
||
|
||
|
||
def write_one(con, cfg, now):
|
||
cur = con.execute("SELECT * FROM %s %s" % (cfg["view"], cfg["order"]))
|
||
cols = [d[0] for d in cur.description]
|
||
rows = [list(r) for r in cur]
|
||
out = os.path.join(ROOT, cfg["out"])
|
||
with io.open(out, "w", encoding="utf-8-sig", newline="") as fh:
|
||
w = csv.writer(fh)
|
||
w.writerow(cols)
|
||
w.writerows(rows)
|
||
body = io.open(out, "rb").read()
|
||
sha = hashlib.sha1(body.split(b"\n", 1)[1]).hexdigest()
|
||
unknown = [c for c in cols if c not in cfg["sem"]]
|
||
spec = dict(SPEC_COMMON)
|
||
spec.update({"name": cfg["out"], "view": cfg["view"], "grain": cfg["grain"],
|
||
"generated_at": now, "rows": len(rows), "columns": cols,
|
||
"column_semantics": cfg["sem"], "data_sha1_excl_header": sha,
|
||
"key": cfg["key"], "ordering": cfg["order"], "undocumented_columns": unknown})
|
||
spath = os.path.join(ROOT, cfg["out"][:-4] + ".契约.json")
|
||
with io.open(spath, "w", encoding="utf-8") as fh:
|
||
json.dump(spec, fh, ensure_ascii=False, indent=1)
|
||
return len(rows), len(cols), sha, unknown, os.path.basename(spath)
|
||
|
||
|
||
def main():
|
||
con = sqlite3.connect("file:%s?mode=ro" % DB.replace("\\", "/"), uri=True)
|
||
now = time.strftime("%Y-%m-%d %H:%M:%S")
|
||
for cfg in EXPORTS:
|
||
try:
|
||
n, nc, sha, unknown, sname = write_one(con, cfg, now)
|
||
except sqlite3.OperationalError as e:
|
||
print("跳过 %s:%s" % (cfg["view"], str(e)[:60]))
|
||
continue
|
||
print("%-26s %5d 行 × %2d 列 sha1 %s 契约 %s" % (cfg["out"], n, nc, sha[:12], sname))
|
||
if unknown:
|
||
print(" 未登记语义的列:%s" % unknown)
|
||
con.close()
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main()
|