Files

139 lines
7.8 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# -*- coding: utf-8 -*-
"""导出网站会话可消费的稳定数据接口:固定文件名 + 列契约 + 校验和。
两份输出,粒度不同,别混用:
接口_0856官方2027.csv 视图 v_0856_官方2027 一行 = 官方一个研究方向(1,987 行)
接口_0856整合2027.csv 视图 v_0856_整合2027 一行 = 现有核对表一行(1,942 行),官方字段并进来
只读视图,不碰站点任何前端文件。行序固定,重复跑数据体字节一致(时间戳列除外),
下游可比 data_sha1_excl_header 确认拿到的是同一版。
"""
import csv
import hashlib
import io
import json
import os
import sqlite3
import sys
import time
sys.stdout.reconfigure(encoding="utf-8", errors="replace")
HERE = os.path.dirname(os.path.abspath(__file__))
ROOT = os.path.dirname(HERE)
DB = os.path.join(HERE, "zexiao_2027.db")
SPEC_COMMON = {
"source": "官方资料/研招网2027硕士专业目录/raw(研招网 CHSI 2027 硕士专业目录原始 JSON)",
"encoding": "utf-8-sig",
"rules": ["官方缺失的格子保持空,不得用第三方平台值填充",
"专业级合计只出现一次,下游不得按方向行求和",
"「勘误处置」非空的格子先读该行再用",
"平台*/推导列仅作核验参考,与官方实测列分列不合并"],
}
SEM_DIR = {
"单位代码": ("text", "研招网院校代码,5 位文本,保留前导零"),
"院校": ("text", "官方层院校全称;与平台写法可能有全半角差异,关联用单位代码"),
"院系所": ("text", "官方院系所名称"),
"专业代码": ("text", "6 位文本,保留前导零"),
"专业名称": ("text", ""), "研究方向": ("text", "同一专业码下多行"),
"官方学位类型": ("text", "取自研招网 majors 原文,非码表推导"),
"官方学习方式": ("text", "全日制 / 非全日制"),
"官方考试方式": ("text", "统考(21) / 单考(23);单考另有一套科目码,不与平台统考口径互比"),
"名额粒度": ("text", "方向级 / 专业级 / 一级学科级 / 院系所级 —— 决定能否当本行名额"),
"官方名额": ("int", "官方 nzsrsstr 解析值,粒度见上一列"),
"名额口径": ("text", "官方是否标「不含推免」"),
"官方名额原文": ("text", "原始字符串,便于回溯"),
"可采信拟招": ("int", "可直接用的值:方向级给本行数;专业级只在该组代表行给一次,共享行为空"),
"平台官方2027拟招": ("text", "平台列,仅核验参考"),
"平台官方2027推免": ("text", "平台列,仅核验参考"),
"官方与平台判定": ("text", "一致 / 口径差(平台含推免) / 粒度错配(平台为合计) / "
"官方源未取全页·待复核 / 不一致 / 共享 / 单考不参与"),
"匹配置信": ("text", "校+码+院 / 校+码(学院待判) / 未匹配"),
"勘误处置": ("text", "非空即该格已在勘误层登记"),
"勘误正确值": ("text", "勘误给出的可替代值,空表示无可靠替代值"),
"数据完整性": ("text", "可能未取全页 = 源文件第 10 行后或有未取页"),
"目录年份": ("text", "官方目录届别,恒为 2027"),
"源文件": ("text", "研招网存档 JSON 相对路径,逐行可回溯"),
}
SEM_WIDE = {
"院校": ("text", "现有核对表校名"), "专业代码": ("text", "6 位文本,保留前导零"),
"学院": ("text", "现有核对表院系名"), "专业名称": ("text", ""),
"学习方式": ("text", "全日制 / 非全日制"),
"省份": ("text", ""), "城市": ("text", ""), "层次": ("text", "985/211/双一流等标签"),
"官方单位代码": ("text", "补齐的代码键;为空表示官方层未覆盖此行,值保持空"),
"官方院系所代码": ("text", "官方三级码,平台侧此前没有这一列"),
"官方学位类型": ("text", "官方原文(专业学位/学术学位)"),
"官方考试方式码": ("text", "21 统考 / 23 单考"), "官方考试方式": ("text", ""),
"官方名额粒度": ("text", "该行官方名额所属粒度"),
"官方名额_不含推免": ("int", "官方口径的不含推免名额,与平台同名列可比"),
"官方名额原文": ("text", "官方 nzsrsstr 原文"),
"官方方向数": ("int", "官方该专业码下方向条数(已去重到院系×方式)"),
"官方科目码": ("text", "官方科目代码集合,逗号分隔"),
"平台2027拟招含推免": ("text", "平台列,含推免口径"),
"平台2027推免": ("text", "平台列"), "平台2027不含推免": ("text", "平台列,与官方名额同口径可比"),
"平台2027科目": ("text", "平台列"), "平台2027方向数": ("text", "平台列"),
"平台完整性": ("text", "另一管道自报的抓取完整性"), "平台匹配方式": ("text", "另一管道的匹配置信"),
"院校目录来源": ("text", "院校自挂目录表 URL(官方第二来源)"),
"研招网链接": ("text", "研招网院校页"),
"对账官方值": ("text", "两条独立管道对账时 A 侧值"), "对账平台值": ("text", "B 侧值"),
"对账项": ("text", "名额 / 方向数 / 科目 / 待判"), "对账说明": ("text", ""),
"勘误处置": ("text", "非空即该格已登记错值,先读再用"),
"官方覆盖": ("text", "官方已覆盖 / 官方未覆盖此行(未覆盖就是空,不用平台填)"),
"官方源文件": ("text", "存档 JSON 相对路径"), "官方入库时间": ("text", "chsi 导入时刻"),
}
EXPORTS = [
{"view": "v_0856_官方2027", "out": "接口_0856官方2027.csv", "sem": SEM_DIR,
"key": ["单位代码", "专业代码", "院系所", "研究方向"],
"order": "ORDER BY 单位代码, 专业代码, 院系所, 研究方向",
"grain": "一行 = 官方一个研究方向"},
{"view": "v_0856_整合2027", "out": "接口_0856整合2027.csv", "sem": SEM_WIDE,
"key": ["院校", "专业代码", "学院", "学习方式"],
"order": "ORDER BY 院校, 专业代码, 学院, 学习方式",
"grain": "一行 = 现有核对表一行,官方字段并入"},
]
def write_one(con, cfg, now):
cur = con.execute("SELECT * FROM %s %s" % (cfg["view"], cfg["order"]))
cols = [d[0] for d in cur.description]
rows = [list(r) for r in cur]
out = os.path.join(ROOT, cfg["out"])
with io.open(out, "w", encoding="utf-8-sig", newline="") as fh:
w = csv.writer(fh)
w.writerow(cols)
w.writerows(rows)
body = io.open(out, "rb").read()
sha = hashlib.sha1(body.split(b"\n", 1)[1]).hexdigest()
unknown = [c for c in cols if c not in cfg["sem"]]
spec = dict(SPEC_COMMON)
spec.update({"name": cfg["out"], "view": cfg["view"], "grain": cfg["grain"],
"generated_at": now, "rows": len(rows), "columns": cols,
"column_semantics": cfg["sem"], "data_sha1_excl_header": sha,
"key": cfg["key"], "ordering": cfg["order"], "undocumented_columns": unknown})
spath = os.path.join(ROOT, cfg["out"][:-4] + ".契约.json")
with io.open(spath, "w", encoding="utf-8") as fh:
json.dump(spec, fh, ensure_ascii=False, indent=1)
return len(rows), len(cols), sha, unknown, os.path.basename(spath)
def main():
con = sqlite3.connect("file:%s?mode=ro" % DB.replace("\\", "/"), uri=True)
now = time.strftime("%Y-%m-%d %H:%M:%S")
for cfg in EXPORTS:
try:
n, nc, sha, unknown, sname = write_one(con, cfg, now)
except sqlite3.OperationalError as e:
print("跳过 %s:%s" % (cfg["view"], str(e)[:60]))
continue
print("%-26s %5d 行 × %2d 列 sha1 %s 契约 %s" % (cfg["out"], n, nc, sha[:12], sname))
if unknown:
print(" 未登记语义的列:%s" % unknown)
con.close()
if __name__ == "__main__":
main()