Files

73 lines
6.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 本项目规则
> 最近修订:2026-10-21(依据 10-19~10-21 审计口径重构、统一事实层、四维审计、全表审计与三轮瘦身的实际对话沉淀)
## 语言
思考过程与回复**只用中文**(用户硬性要求)。代码、命令、路径、数据库字段名保持原文。派生子代理时在提示词里同样要求中文思考。
## 效率
用户多次强调"加快效率"并写入长期记忆:先实测再全量(抽样探明命中率,避免无效采集);能复用既有清单就不重新扫描;能只读/增量/可逆就不复制。
## 项目结构(2026-10-20 迁移后)
- 采集库 `数据库\ggyx.db`(平台原始数据);主库 `数据库\zexiao_2027.db`(生产库,`ggyx_*` 表由 `数据库\ingest_ggyx_all.py` 镜像,`_diff_ggyx_counts.py` 校验 delta=0)
- 运行暂存 `运行暂存\`:采集原始数据、活跃工作区;`ggyx_chrome\` 是**采集登录态,绝对不删**
- 正式产出进 `审计报告\`、`docs\`;中间产物只放 `运行暂存\`
- 口径唯一权威:`docs\审计口径规范.md`;数据整合方案:`docs\数据整合与口径落地方案.md`
## 数据口径(硬性,勿绕过)
- 交付表里每个数字都要能当场回溯到「表 / 行 / 源文件 / 口径」,推导值与实测值分开标注。
- 专业代码、院校代码一律按**文本**处理(前导零),且**禁止剥离字母**——`1202Z1`/`0802J1` 是自设专业(约 2,314 个官方键)。
- **分母分层**(覆盖率必须标注分母):B1 官方应招 907 / B2 平台校库 1039 / B2a 对标集 617 / B3 平台目录 934;专业级硬分母 2026=38,228 键、2027=37,213 键。分子必须与分母取交集;分母即自身的显示 n/a。粒度 G1–G4 不可跨级比行数。
- **跨表 JOIN 必须带 `xy_id`**:同校同专业可跨多院系(2025 年 700 组),漏 xy_id 会放大 11.9% 的行。
- **`chsi_2027_dir.enroll_num` 双语义**(规范 §1.2a):`enroll_str` 前缀"专业:N"= 专业级(方向行上重复,组内取 MAX)、"研究方向:N"= 方向级明细(SUM)。**禁止盲目 SUM**(盲目 SUM 虚高 112.9%)。`pd_dir_detail.enroll_num` 是源页首方向单行值,仅作参考。
- 人数展示用 `nlq_total`,不可数名单条数(名单含推免/专项/放弃入学)。
- 校区分校区**不折叠**:矿大徐州/北京、地大北京/武汉、石油北京/华东、华电/保定各自独立;校名归一化只去空白,不删括号。
- 库内**两套 school_id**:第三方表(zgc/core_*/src_*)用来源平台自己的 ID,跨源关联用 `dim_school_id_map`(5,995 条)与 `school_id_ggyx` 派生列。
## 取数优先级
1. 事实层物化表 `fact_admission` / `fact_dest` / `fact_score_dist` / `fact_score`(主表+归档合并、已去重,行数与视图一致性由 C10 自检)
2. 主库 `ggyx_*` 表
3. 原始表(需自行处理口径)
`ggyx_admission_list` 是 2026 届(端点 `adjust/ad26/fx/tab_list`,代码级证据),其 `st_number` 是 10 位列表编号**不是考生号**,禁止当考生键去重。2024/2025 本校录取名单源侧不存在(ad25/ad24 端点不存在),只有"分数去向"(`fs_dest_person`,91.5% 是被外校录取)。2023 录取明细与单科分数线均为源侧无(实测 75 键 0 命中 / 同专业跨年对比),属 B 类,勿再重复调查。
## 审计与校验(变更后必跑)
```bash
python -B D:/择校/脚本/run_audit_ci.py --fact # 重建事实层 + 矩阵8自检 + 逐项明细;硬性项失败即阻断
python -B D:/择校/脚本/audit_data_quality.py # 30 项逻辑/字段校验
python -B D:/择校/脚本/audit_all_tables.py # 全表 7 类问题(接入 dim_field_semantics)
python -B D:/择校/脚本/audit_four_dims.py # 四维:完整性/准确性/一致性/及时性
```
- 新增/修改表必须登记 `dim_table_meta`(粒度/年份/键列/是否派生/用途);字段语义与表名字面不符时登记 `dim_field_semantics`(如 `code` 存的是科目码/HTTP 状态码),审计脚本据此免误报。
- 数据异常行**不删改,加 `data_flag`**(如 `nlq_gt_fs`、`taotai_mismatch`、`line_outside_dist`),下游过滤;已标记行审计不再报。
- 判据先肉眼复核再定性:大量"异常"常是判据错(漏 xy_id、字段语义误判、正则误匹配),不是数据错。
## 采集纪律(ggyx 平台)
- 注销类接口绝对不碰;批量探测先过只读白名单;先抽样测命中率再全量。
- token 在 `脚本\ggyx采集\token.txt`(来自用户 Chrome 登录,**不要注销**);`ggyx_chrome\` 是登录态。
- year 参数有效性:getfs / fs_destination / exam_score 有效;ssd_prosgraduate、tab_list 等榜单类无效(2023=2026 同内容);录取名单端点仅 `ad26`(2026 届)。
- 研招网 zsml 是登录墙(start≠0 → "请登录"),绕行走 `dwzys.do`/`yjfxs.do`。
- 点对点 `ejxk_id` 必须带前导零;学费口径"元/全部"= 全程,需按学制折年费(已数值化为 `tuition_year/tuition_total/tuition_kind`)。
## 文件与磁盘纪律
- 批量任务先估算磁盘写入量与剩余空间;优先只读、增量、原位或可逆处理。
- 本环境删除特性:小批量 `Remove-Item -Force` 是永久删除;**批量(>50 文件)会被 SAFE_DELETE 钩子拦并转回收站**——要求"彻底删除"时,删除后必须追加 `Clear-RecycleBin -DriveLetter D -Force`。
- 删除流程:先归档/沉淀(轻量回执拷入 `审计报告\`,写 README 说明来源与结论指针)→ 用户确认 → 删本体 → 清回收站。
- 文件追溯链:`审计报告\项目全量核验_20261016\complete_file_sha256.csv`(82,510 行)+ `审计报告\历史归档沉淀_20261021\`(回执与摘要)。
- 运行 Python 用 `-B`(不生成 `__pycache__`);PowerShell 处理中文路径有 GBK 乱码风险,验证一律以 bash `ls` 实际状态为准。
## 任务交接与存储
- 每完成一项实质性任务,在 `docs\agent_handoffs\` 新建或更新 handoff(目标、已完成、产物/证据、验证、未完成、下一步);继续工作前先读最新 handoff。
- 每日过程记录追加到工作日志(WorkBuddy memory `2026-10-21.md` 式流水);长期事实沉淀到项目 `MEMORY.md`。
- 当前待办与边界:2027 结果类等 2026-12 初试后回填;2022 已放弃;P4 = 把 `fact_global`(219 万行)的 2025/2026 报录比类指标接入交付层(4.2 万条 conflict 待裁决)。