6.4 KiB
6.4 KiB
本项目规则
最近修订:2026-10-21(依据 10-19~10-21 审计口径重构、统一事实层、四维审计、全表审计与三轮瘦身的实际对话沉淀)
语言
思考过程与回复只用中文(用户硬性要求)。代码、命令、路径、数据库字段名保持原文。派生子代理时在提示词里同样要求中文思考。
效率
用户多次强调"加快效率"并写入长期记忆:先实测再全量(抽样探明命中率,避免无效采集);能复用既有清单就不重新扫描;能只读/增量/可逆就不复制。
项目结构(2026-10-20 迁移后)
- 采集库
数据库\ggyx.db(平台原始数据);主库数据库\zexiao_2027.db(生产库,ggyx_*表由数据库\ingest_ggyx_all.py镜像,_diff_ggyx_counts.py校验 delta=0) - 运行暂存
运行暂存\:采集原始数据、活跃工作区;ggyx_chrome\是采集登录态,绝对不删 - 正式产出进
审计报告\、docs\;中间产物只放运行暂存\ - 口径唯一权威:
docs\审计口径规范.md;数据整合方案:docs\数据整合与口径落地方案.md
数据口径(硬性,勿绕过)
- 交付表里每个数字都要能当场回溯到「表 / 行 / 源文件 / 口径」,推导值与实测值分开标注。
- 专业代码、院校代码一律按文本处理(前导零),且禁止剥离字母——
1202Z1/0802J1是自设专业(约 2,314 个官方键)。 - 分母分层(覆盖率必须标注分母):B1 官方应招 907 / B2 平台校库 1039 / B2a 对标集 617 / B3 平台目录 934;专业级硬分母 2026=38,228 键、2027=37,213 键。分子必须与分母取交集;分母即自身的显示 n/a。粒度 G1–G4 不可跨级比行数。
- 跨表 JOIN 必须带
xy_id:同校同专业可跨多院系(2025 年 700 组),漏 xy_id 会放大 11.9% 的行。 chsi_2027_dir.enroll_num双语义(规范 §1.2a):enroll_str前缀"专业:N"= 专业级(方向行上重复,组内取 MAX)、"研究方向:N"= 方向级明细(SUM)。禁止盲目 SUM(盲目 SUM 虚高 112.9%)。pd_dir_detail.enroll_num是源页首方向单行值,仅作参考。- 人数展示用
nlq_total,不可数名单条数(名单含推免/专项/放弃入学)。 - 校区分校区不折叠:矿大徐州/北京、地大北京/武汉、石油北京/华东、华电/保定各自独立;校名归一化只去空白,不删括号。
- 库内两套 school_id:第三方表(zgc/core_/src_)用来源平台自己的 ID,跨源关联用
dim_school_id_map(5,995 条)与school_id_ggyx派生列。
取数优先级
- 事实层物化表
fact_admission/fact_dest/fact_score_dist/fact_score(主表+归档合并、已去重,行数与视图一致性由 C10 自检) - 主库
ggyx_*表 - 原始表(需自行处理口径)
ggyx_admission_list 是 2026 届(端点 adjust/ad26/fx/tab_list,代码级证据),其 st_number 是 10 位列表编号不是考生号,禁止当考生键去重。2024/2025 本校录取名单源侧不存在(ad25/ad24 端点不存在),只有"分数去向"(fs_dest_person,91.5% 是被外校录取)。2023 录取明细与单科分数线均为源侧无(实测 75 键 0 命中 / 同专业跨年对比),属 B 类,勿再重复调查。
审计与校验(变更后必跑)
python -B D:/择校/脚本/run_audit_ci.py --fact # 重建事实层 + 矩阵8自检 + 逐项明细;硬性项失败即阻断
python -B D:/择校/脚本/audit_data_quality.py # 30 项逻辑/字段校验
python -B D:/择校/脚本/audit_all_tables.py # 全表 7 类问题(接入 dim_field_semantics)
python -B D:/择校/脚本/audit_four_dims.py # 四维:完整性/准确性/一致性/及时性
- 新增/修改表必须登记
dim_table_meta(粒度/年份/键列/是否派生/用途);字段语义与表名字面不符时登记dim_field_semantics(如code存的是科目码/HTTP 状态码),审计脚本据此免误报。 - 数据异常行不删改,加
data_flag(如nlq_gt_fs、taotai_mismatch、line_outside_dist),下游过滤;已标记行审计不再报。 - 判据先肉眼复核再定性:大量"异常"常是判据错(漏 xy_id、字段语义误判、正则误匹配),不是数据错。
采集纪律(ggyx 平台)
- 注销类接口绝对不碰;批量探测先过只读白名单;先抽样测命中率再全量。
- token 在
脚本\ggyx采集\token.txt(来自用户 Chrome 登录,不要注销);ggyx_chrome\是登录态。 - year 参数有效性:getfs / fs_destination / exam_score 有效;ssd_prosgraduate、tab_list 等榜单类无效(2023=2026 同内容);录取名单端点仅
ad26(2026 届)。 - 研招网 zsml 是登录墙(start≠0 → "请登录"),绕行走
dwzys.do/yjfxs.do。 - 点对点
ejxk_id必须带前导零;学费口径"元/全部"= 全程,需按学制折年费(已数值化为tuition_year/tuition_total/tuition_kind)。
文件与磁盘纪律
- 批量任务先估算磁盘写入量与剩余空间;优先只读、增量、原位或可逆处理。
- 本环境删除特性:小批量
Remove-Item -Force是永久删除;批量(>50 文件)会被 SAFE_DELETE 钩子拦并转回收站——要求"彻底删除"时,删除后必须追加Clear-RecycleBin -DriveLetter D -Force。 - 删除流程:先归档/沉淀(轻量回执拷入
审计报告\,写 README 说明来源与结论指针)→ 用户确认 → 删本体 → 清回收站。 - 文件追溯链:
审计报告\项目全量核验_20261016\complete_file_sha256.csv(82,510 行)+审计报告\历史归档沉淀_20261021\(回执与摘要)。 - 运行 Python 用
-B(不生成__pycache__);PowerShell 处理中文路径有 GBK 乱码风险,验证一律以 bashls实际状态为准。
任务交接与存储
- 每完成一项实质性任务,在
docs\agent_handoffs\新建或更新 handoff(目标、已完成、产物/证据、验证、未完成、下一步);继续工作前先读最新 handoff。 - 每日过程记录追加到工作日志(WorkBuddy memory
2026-10-21.md式流水);长期事实沉淀到项目MEMORY.md。 - 当前待办与边界:2027 结果类等 2026-12 初试后回填;2022 已放弃;P4 = 把
fact_global(219 万行)的 2025/2026 报录比类指标接入交付层(4.2 万条 conflict 待裁决)。