Files

6.4 KiB
Raw Permalink Blame History

本项目规则

最近修订:2026-10-21(依据 10-19~10-21 审计口径重构、统一事实层、四维审计、全表审计与三轮瘦身的实际对话沉淀)

语言

思考过程与回复只用中文(用户硬性要求)。代码、命令、路径、数据库字段名保持原文。派生子代理时在提示词里同样要求中文思考。

效率

用户多次强调"加快效率"并写入长期记忆:先实测再全量(抽样探明命中率,避免无效采集);能复用既有清单就不重新扫描;能只读/增量/可逆就不复制。

项目结构(2026-10-20 迁移后)

  • 采集库 数据库\ggyx.db(平台原始数据);主库 数据库\zexiao_2027.db(生产库,ggyx_* 表由 数据库\ingest_ggyx_all.py 镜像,_diff_ggyx_counts.py 校验 delta=0)
  • 运行暂存 运行暂存\:采集原始数据、活跃工作区;ggyx_chrome\ 是采集登录态,绝对不删
  • 正式产出进 审计报告\、docs\;中间产物只放 运行暂存\
  • 口径唯一权威:docs\审计口径规范.md;数据整合方案:docs\数据整合与口径落地方案.md

数据口径(硬性,勿绕过)

  • 交付表里每个数字都要能当场回溯到「表 / 行 / 源文件 / 口径」,推导值与实测值分开标注。
  • 专业代码、院校代码一律按文本处理(前导零),且禁止剥离字母——1202Z1/0802J1 是自设专业(约 2,314 个官方键)。
  • 分母分层(覆盖率必须标注分母):B1 官方应招 907 / B2 平台校库 1039 / B2a 对标集 617 / B3 平台目录 934;专业级硬分母 2026=38,228 键、2027=37,213 键。分子必须与分母取交集;分母即自身的显示 n/a。粒度 G1–G4 不可跨级比行数。
  • 跨表 JOIN 必须带 xy_id:同校同专业可跨多院系(2025 年 700 组),漏 xy_id 会放大 11.9% 的行。
  • chsi_2027_dir.enroll_num 双语义(规范 §1.2a):enroll_str 前缀"专业:N"= 专业级(方向行上重复,组内取 MAX)、"研究方向:N"= 方向级明细(SUM)。禁止盲目 SUM(盲目 SUM 虚高 112.9%)。pd_dir_detail.enroll_num 是源页首方向单行值,仅作参考。
  • 人数展示用 nlq_total,不可数名单条数(名单含推免/专项/放弃入学)。
  • 校区分校区不折叠:矿大徐州/北京、地大北京/武汉、石油北京/华东、华电/保定各自独立;校名归一化只去空白,不删括号。
  • 库内两套 school_id:第三方表(zgc/core_/src_)用来源平台自己的 ID,跨源关联用 dim_school_id_map(5,995 条)与 school_id_ggyx 派生列。

取数优先级

  1. 事实层物化表 fact_admission / fact_dest / fact_score_dist / fact_score(主表+归档合并、已去重,行数与视图一致性由 C10 自检)
  2. 主库 ggyx_* 表
  3. 原始表(需自行处理口径)

ggyx_admission_list 是 2026 届(端点 adjust/ad26/fx/tab_list,代码级证据),其 st_number 是 10 位列表编号不是考生号,禁止当考生键去重。2024/2025 本校录取名单源侧不存在(ad25/ad24 端点不存在),只有"分数去向"(fs_dest_person,91.5% 是被外校录取)。2023 录取明细与单科分数线均为源侧无(实测 75 键 0 命中 / 同专业跨年对比),属 B 类,勿再重复调查。

审计与校验(变更后必跑)

python -B D:/择校/脚本/run_audit_ci.py --fact   # 重建事实层 + 矩阵8自检 + 逐项明细;硬性项失败即阻断
python -B D:/择校/脚本/audit_data_quality.py    # 30 项逻辑/字段校验
python -B D:/择校/脚本/audit_all_tables.py      # 全表 7 类问题(接入 dim_field_semantics)
python -B D:/择校/脚本/audit_four_dims.py       # 四维:完整性/准确性/一致性/及时性
  • 新增/修改表必须登记 dim_table_meta(粒度/年份/键列/是否派生/用途);字段语义与表名字面不符时登记 dim_field_semantics(如 code 存的是科目码/HTTP 状态码),审计脚本据此免误报。
  • 数据异常行不删改,加 data_flag(如 nlq_gt_fs、taotai_mismatch、line_outside_dist),下游过滤;已标记行审计不再报。
  • 判据先肉眼复核再定性:大量"异常"常是判据错(漏 xy_id、字段语义误判、正则误匹配),不是数据错。

采集纪律(ggyx 平台)

  • 注销类接口绝对不碰;批量探测先过只读白名单;先抽样测命中率再全量。
  • token 在 脚本\ggyx采集\token.txt(来自用户 Chrome 登录,不要注销);ggyx_chrome\ 是登录态。
  • year 参数有效性:getfs / fs_destination / exam_score 有效;ssd_prosgraduate、tab_list 等榜单类无效(2023=2026 同内容);录取名单端点仅 ad26(2026 届)。
  • 研招网 zsml 是登录墙(start≠0 → "请登录"),绕行走 dwzys.do/yjfxs.do。
  • 点对点 ejxk_id 必须带前导零;学费口径"元/全部"= 全程,需按学制折年费(已数值化为 tuition_year/tuition_total/tuition_kind)。

文件与磁盘纪律

  • 批量任务先估算磁盘写入量与剩余空间;优先只读、增量、原位或可逆处理。
  • 本环境删除特性:小批量 Remove-Item -Force 是永久删除;批量(>50 文件)会被 SAFE_DELETE 钩子拦并转回收站——要求"彻底删除"时,删除后必须追加 Clear-RecycleBin -DriveLetter D -Force。
  • 删除流程:先归档/沉淀(轻量回执拷入 审计报告\,写 README 说明来源与结论指针)→ 用户确认 → 删本体 → 清回收站。
  • 文件追溯链:审计报告\项目全量核验_20261016\complete_file_sha256.csv(82,510 行)+ 审计报告\历史归档沉淀_20261021\(回执与摘要)。
  • 运行 Python 用 -B(不生成 __pycache__);PowerShell 处理中文路径有 GBK 乱码风险,验证一律以 bash ls 实际状态为准。

任务交接与存储

  • 每完成一项实质性任务,在 docs\agent_handoffs\ 新建或更新 handoff(目标、已完成、产物/证据、验证、未完成、下一步);继续工作前先读最新 handoff。
  • 每日过程记录追加到工作日志(WorkBuddy memory 2026-10-21.md 式流水);长期事实沉淀到项目 MEMORY.md。
  • 当前待办与边界:2027 结果类等 2026-12 初试后回填;2022 已放弃;P4 = 把 fact_global(219 万行)的 2025/2026 报录比类指标接入交付层(4.2 万条 conflict 待裁决)。