mirror of
https://git.simgreek.com/zzz/yanxuan.git
synced 2026-11-23 00:40:46 +08:00
73 lines
6.4 KiB
Markdown
73 lines
6.4 KiB
Markdown
# 本项目规则
|
||
|
||
> 最近修订:2026-10-21(依据 10-19~10-21 审计口径重构、统一事实层、四维审计、全表审计与三轮瘦身的实际对话沉淀)
|
||
|
||
## 语言
|
||
|
||
思考过程与回复**只用中文**(用户硬性要求)。代码、命令、路径、数据库字段名保持原文。派生子代理时在提示词里同样要求中文思考。
|
||
|
||
## 效率
|
||
|
||
用户多次强调"加快效率"并写入长期记忆:先实测再全量(抽样探明命中率,避免无效采集);能复用既有清单就不重新扫描;能只读/增量/可逆就不复制。
|
||
|
||
## 项目结构(2026-10-20 迁移后)
|
||
|
||
- 采集库 `数据库\ggyx.db`(平台原始数据);主库 `数据库\zexiao_2027.db`(生产库,`ggyx_*` 表由 `数据库\ingest_ggyx_all.py` 镜像,`_diff_ggyx_counts.py` 校验 delta=0)
|
||
- 运行暂存 `运行暂存\`:采集原始数据、活跃工作区;`ggyx_chrome\` 是**采集登录态,绝对不删**
|
||
- 正式产出进 `审计报告\`、`docs\`;中间产物只放 `运行暂存\`
|
||
- 口径唯一权威:`docs\审计口径规范.md`;数据整合方案:`docs\数据整合与口径落地方案.md`
|
||
|
||
## 数据口径(硬性,勿绕过)
|
||
|
||
- 交付表里每个数字都要能当场回溯到「表 / 行 / 源文件 / 口径」,推导值与实测值分开标注。
|
||
- 专业代码、院校代码一律按**文本**处理(前导零),且**禁止剥离字母**——`1202Z1`/`0802J1` 是自设专业(约 2,314 个官方键)。
|
||
- **分母分层**(覆盖率必须标注分母):B1 官方应招 907 / B2 平台校库 1039 / B2a 对标集 617 / B3 平台目录 934;专业级硬分母 2026=38,228 键、2027=37,213 键。分子必须与分母取交集;分母即自身的显示 n/a。粒度 G1–G4 不可跨级比行数。
|
||
- **跨表 JOIN 必须带 `xy_id`**:同校同专业可跨多院系(2025 年 700 组),漏 xy_id 会放大 11.9% 的行。
|
||
- **`chsi_2027_dir.enroll_num` 双语义**(规范 §1.2a):`enroll_str` 前缀"专业:N"= 专业级(方向行上重复,组内取 MAX)、"研究方向:N"= 方向级明细(SUM)。**禁止盲目 SUM**(盲目 SUM 虚高 112.9%)。`pd_dir_detail.enroll_num` 是源页首方向单行值,仅作参考。
|
||
- 人数展示用 `nlq_total`,不可数名单条数(名单含推免/专项/放弃入学)。
|
||
- 校区分校区**不折叠**:矿大徐州/北京、地大北京/武汉、石油北京/华东、华电/保定各自独立;校名归一化只去空白,不删括号。
|
||
- 库内**两套 school_id**:第三方表(zgc/core_*/src_*)用来源平台自己的 ID,跨源关联用 `dim_school_id_map`(5,995 条)与 `school_id_ggyx` 派生列。
|
||
|
||
## 取数优先级
|
||
|
||
1. 事实层物化表 `fact_admission` / `fact_dest` / `fact_score_dist` / `fact_score`(主表+归档合并、已去重,行数与视图一致性由 C10 自检)
|
||
2. 主库 `ggyx_*` 表
|
||
3. 原始表(需自行处理口径)
|
||
|
||
`ggyx_admission_list` 是 2026 届(端点 `adjust/ad26/fx/tab_list`,代码级证据),其 `st_number` 是 10 位列表编号**不是考生号**,禁止当考生键去重。2024/2025 本校录取名单源侧不存在(ad25/ad24 端点不存在),只有"分数去向"(`fs_dest_person`,91.5% 是被外校录取)。2023 录取明细与单科分数线均为源侧无(实测 75 键 0 命中 / 同专业跨年对比),属 B 类,勿再重复调查。
|
||
|
||
## 审计与校验(变更后必跑)
|
||
|
||
```bash
|
||
python -B D:/择校/脚本/run_audit_ci.py --fact # 重建事实层 + 矩阵8自检 + 逐项明细;硬性项失败即阻断
|
||
python -B D:/择校/脚本/audit_data_quality.py # 30 项逻辑/字段校验
|
||
python -B D:/择校/脚本/audit_all_tables.py # 全表 7 类问题(接入 dim_field_semantics)
|
||
python -B D:/择校/脚本/audit_four_dims.py # 四维:完整性/准确性/一致性/及时性
|
||
```
|
||
|
||
- 新增/修改表必须登记 `dim_table_meta`(粒度/年份/键列/是否派生/用途);字段语义与表名字面不符时登记 `dim_field_semantics`(如 `code` 存的是科目码/HTTP 状态码),审计脚本据此免误报。
|
||
- 数据异常行**不删改,加 `data_flag`**(如 `nlq_gt_fs`、`taotai_mismatch`、`line_outside_dist`),下游过滤;已标记行审计不再报。
|
||
- 判据先肉眼复核再定性:大量"异常"常是判据错(漏 xy_id、字段语义误判、正则误匹配),不是数据错。
|
||
|
||
## 采集纪律(ggyx 平台)
|
||
|
||
- 注销类接口绝对不碰;批量探测先过只读白名单;先抽样测命中率再全量。
|
||
- token 在 `脚本\ggyx采集\token.txt`(来自用户 Chrome 登录,**不要注销**);`ggyx_chrome\` 是登录态。
|
||
- year 参数有效性:getfs / fs_destination / exam_score 有效;ssd_prosgraduate、tab_list 等榜单类无效(2023=2026 同内容);录取名单端点仅 `ad26`(2026 届)。
|
||
- 研招网 zsml 是登录墙(start≠0 → "请登录"),绕行走 `dwzys.do`/`yjfxs.do`。
|
||
- 点对点 `ejxk_id` 必须带前导零;学费口径"元/全部"= 全程,需按学制折年费(已数值化为 `tuition_year/tuition_total/tuition_kind`)。
|
||
|
||
## 文件与磁盘纪律
|
||
|
||
- 批量任务先估算磁盘写入量与剩余空间;优先只读、增量、原位或可逆处理。
|
||
- 本环境删除特性:小批量 `Remove-Item -Force` 是永久删除;**批量(>50 文件)会被 SAFE_DELETE 钩子拦并转回收站**——要求"彻底删除"时,删除后必须追加 `Clear-RecycleBin -DriveLetter D -Force`。
|
||
- 删除流程:先归档/沉淀(轻量回执拷入 `审计报告\`,写 README 说明来源与结论指针)→ 用户确认 → 删本体 → 清回收站。
|
||
- 文件追溯链:`审计报告\项目全量核验_20261016\complete_file_sha256.csv`(82,510 行)+ `审计报告\历史归档沉淀_20261021\`(回执与摘要)。
|
||
- 运行 Python 用 `-B`(不生成 `__pycache__`);PowerShell 处理中文路径有 GBK 乱码风险,验证一律以 bash `ls` 实际状态为准。
|
||
|
||
## 任务交接与存储
|
||
|
||
- 每完成一项实质性任务,在 `docs\agent_handoffs\` 新建或更新 handoff(目标、已完成、产物/证据、验证、未完成、下一步);继续工作前先读最新 handoff。
|
||
- 每日过程记录追加到工作日志(WorkBuddy memory `2026-10-21.md` 式流水);长期事实沉淀到项目 `MEMORY.md`。
|
||
- 当前待办与边界:2027 结果类等 2026-12 初试后回填;2022 已放弃;P4 = 把 `fact_global`(219 万行)的 2025/2026 报录比类指标接入交付层(4.2 万条 conflict 待裁决)。
|