Files
dxdesigner-part-replacement/docs/testing/2026-11-12-final-local-validation.md

115 lines
16 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 当前候选的最终本地实机验收
<!-- R17_CURRENT_START -->
D1–D7 主体已开发,核心要求已有实现;已知未修正的列表展示问题在下文单列。候选 `de35b91aaf4cbbc44177c6ba6efb53d082fbf916661c85809ae1bcc85a3f8759`;R17 回归 2777 项通过、0 失败/错误,176 模块与入口一致,实际 smoke exit 0。
九类专项已有当前候选实机与独立核验:启动前暂停/同队列恢复、首段 NC、未选中重复属性、新 PON、强停 source-only 核验后新执行队列继续、规则、有效 Cell、外部桌面引用等待后释放、用户 Excel 无需替换。强停/Cell/桌面菜单原驱动失败保留,后续独立核验不升级为原驱动无错误。
最后修改后全新系统种子 `155996712019460105440454269180024646548` 的 20 个任务、34 条请求已实际执行,应用及独立检查全部符合预期;预期输入失败保持失败,已保存 UID 不重放。全部资源释放、测试程序正常 exit 0;实际 CMD 启动、精确 EXE/data-root、空任务库及正常退出已验证。
D1–D7 / A1–A3 最终逐要求独立审计已通过,原定范围验收完成。
**已知未修正的界面问题(P3)**:可重试失败任务的持久任务状态沿用 `running`,结果页和队列已正确显示失败/可重试,但任务列表徽标仍可能显示“执行中”,失败筛选也按原枚举判断。这不是后台仍在运行;本轮未修改该列表展示。不能据核心验收通过宣称程序没有剩余问题。
已知范围:复杂层级/重复实例/multigate 可读取比对,直接写入仅支持唯一绑定的根器件;子实例直接写入未实现,更深实机结构缺少样本。20 随机任务来自一个普通工程家族,复杂 PON 单列。Harness 对照语义各 20/20、严格格式原生 20/20/Harness 19/20,尚未证明 Harness 优于原生。资源释放不表示回滚;未保存关闭实测仍可能持久化修改。
本段为最新权威状态。下方历史候选号、旧“当前/正在”及旧复选框仅保留过程,不能作为最新进度。
<!-- R17_CURRENT_END -->
最新状态:R15 的 2750 项回归和实际 RP12 `0R/NC`、启动暂停恢复均已通过。新随机 RG12 在原生换料前被无关 CG16 的重复属性约束阻塞,原失败保留、零保存、程序正常退出。R17 已支持保留并完整核对未选中重复属性,补齐真实 COM 类型转换,239 项相关检查通过;新候选 `de35b91aaf4c…` 的冻结/启动检查通过,完整回归仍在运行。原失败种子新副本、新 PON 和暂停输入已准备,最终随机至少 20 项未生成。以 [收尾清单](2026-11-12-completion-checklist.md) 顶部为准,下文为历史。
最新进展:R14 新 PON 的独立验收发现首段 NC 标记未同步,原 `0R` 对 `0R/NC` 失败保留。R15 已修复四处消费者及独立 oracle,相关 167/64 项分别通过;完整回归中,新候选 `d2528e2d0328…` 的 176 模块/入口一致和实际 smoke exit 0/released 已通过。原失败种子及新 PON/暂停副本已准备,尚未实测;最终新随机至少 20 项未生成。以 [收尾清单](2026-11-12-completion-checklist.md) 顶部为准,下文为历史。
最新状态以 [收尾清单](2026-11-12-completion-checklist.md) 顶部为准:启动取消修复后的 R14 完整回归 2723 项通过,候选 `9dffbaf6e35c…` 的 176 模块及入口一致、实际 smoke exit 0/released。原失败种子的新副本已实际精确暂停、同队列继续,应用与外部完整图通过,资源释放、正常 exit 0;新种子泛化及专项补充正在串行执行。原暂停失败现场和报告保留。最后全新随机至少 20 项与交付审计尚未完成,目标仍未达成。下文为历史轮次。
最新状态:R12 强停缺报告恢复及原 PON 失败复验已实际通过,另一新系统种子 PON 发现标题栏合法缺少 `@PATH` 的误判;已补第二份真实 raw fixture 并修复可选字段识别,255 项相关回归通过,独立复审无阻断。R13(含直接 recovery、quick-run、快照及 fixture 指纹)正在运行,当前 R12 EXE 尚未包含该最新一行 VBS 修复。原失败、副本和驱动误判保留,目标未完成。具体依据见收尾清单最新段落;下文 R12 构建和通过仍仅属于其实际候选。
最新增量:R11 随机 r5 已实际 UI/独立核验 20/20,通过记录不再处于运行中。随后缺报告强停恢复、PON 标题栏自动时间以及强停资源/队列状态残留均已完成源码修复、定点回归和独立复审;R12 综合回归 2568 项通过、源码指纹一致。新候选 `6448533aa150240d3d28f3fd43368eae3b6b0630ccb10aa3c67a6ecd53cc6fb2` 已重建,176 模块一致性及实际 smoke(exit 0、资源 released)通过;新的实机补充正在串行执行。以 [最新收尾状态](2026-11-12-completion-checklist.md) 为准,下文旧候选的通过和历史待办分别保留。
目标尚未全部完成。当前候选 SHA256 为 `6448533aa150240d3d28f3fd43368eae3b6b0630ccb10aa3c67a6ecd53cc6fb2`。完整要求和未完成项目见 [收尾清单](2026-11-12-completion-checklist.md)。下文各轮回归和实机记录按候选分别保留,历史通过不自动代替当前候选。
## R11 当前候选与规则复验
2518 项完整回归通过,0 失败、0 错误、0 跳过,pytest 墙钟 541.90 秒,源码/工具/测试指纹前后一致。176 模块与应用入口一致,真实 smoke 退出 0,监督资源 released。规则新副本 `outputs/supp-rule-mode-fixed-20261112` 实际 UI 和 fresh CLI 独立核验通过;应用报告 verified,规则和实际原生 UID 绑定通过,进程/桌面释放,EXE 正常退出。随后新系统种子 `68640373062185537173420775137851245919` 的随机 r5 已生成 20 任务/28 请求并启动,已实际暂停/同队列恢复,整体终态及其余补充待执行。
## R10 当前候选
后续更新:8f9c 随机 r4 的 20 项最终全部通过,详见下节。但规则模式补充又发现规则核验与逐器件展开未接通,当前已修并进入 R11/新候选构建。下文 R10 和 r4 通过属于保留的真实证据,下一候选必须重新验证。
首项失败基线修复后,完整回归 2508 项通过、0 失败、0 错误,pytest 墙钟 861.22 秒。`regression-r10/final-regression-run.json` 记录源码/工具/测试前后指纹一致,XML 中无跳过项。当前 EXE 176 个冻结模块一致,实际 smoke 进程 exit 0、监督资源状态 released。
`outputs/first-prewrite-fixed-replay-20261112` 使用两份未执行的新副本,真实 UI 复现此前的无效料号首项失败及后续正常任务,UI 和外部 fresh CLI 独立检查均通过:第一工程为 failed,第二工程为 completed;原工程及中心库不变,Mentor/桌面释放,程序正常关闭。原失败项只有共享预算内的问题轮次,没有将其改成替换成功,也未重放正常成功项。分步时间保存在 `first-prewrite-fixed-replay-20261112-step-timings.json`。
独立只读代码审查未发现阻断问题,范围和边界保存在 `first-prewrite-independent-code-review.json`。随后从系统随机源再抽 seed `320032831052976496745536262831213924733`,准备并启动 `outputs/frozen-random-final-20261112-r4` 的 20 个任务、28 个请求;该批和六类补充尚在执行清单中,不能据两工程回归宣布全部完成。
### 随机 r4 终态及规则补充发现
随机 r4:实际 UI 和独立 fresh CLI 均通过,全部 20 项符合预先声明的预期。队列 12 completed、6 failed(预期输入错误)、2 skipped。17 个保存 UID 各 1 次,真实暂停/同队列恢复通过;全部 Mentor/桌面独立消失,EXE 正常 WM_CLOSE、exit 0,原工程和库不变。再次核对 535 个 R10 源码/工具/测试文件完全一致。批次 UI 2100.832 秒,19 个可导出的完整工程外部核验合计 57.171 秒,损坏副本按输入哈希及明确失败核验。17 次成功 execute_step 中位数 95.263 秒,范围 64.519–187.562 秒;含实际打开/保存/回读边界,不是纯 Replace Part 速率。
`outputs/supp-rule-mode-20261111` 真实规则换料后任务 completed,但应用网表 unavailable:`_rule_rows` 只接受 target_scope=all,而既有规则执行器已展开为 target_scope=targets 的逐器件命令。原料号、目标、Value/NC策略完全符合冻结规则;实际绑定 UID 为 `$2I1799`。外部验收器另在扁平化队列时漏取 queue.netlist_verification,提前 KeyError。原报告和失败未改;另行 fresh CLI 诊断只发现该目标 UID 改变,物理脚与完整网络不变。测试程序正常退出,原 EXE、验收器和网表代码备份在 `archived-candidate-8f9cb269eef2/`。
修复允许已知逐器件展开,但必须是一个三字段 selector,与整个原生 UID 集合精确相等,位号及原 Value 必须匹配 before 图,原工程和冻结规则策略检查保留。旧 all-scope 路径不变。外部验收器仅从同一个 queue 为各 entry 接上真实 report 映射,未修改原图/属性/终态断言。2 项先复现失败,130 项邻域回归通过;只读独立审查无阻断。R11 全量、新候选和新副本实机仍需完成。
## R9 回归和冻结一致性
完整回归 2501 项通过,0 失败、0 错误,pytest 墙钟 661.55 秒;`final-regression-run.json` 的前后指纹一致。随后逐文件复核 535 个源码/工具/测试文件,仍与 R9 结束时指纹一致。EXE 的 176 个冻结模块及实际 smoke 检查通过。
证据位于 `outputs/completion-validation-20261111/regression-r9/`、`frozen-verification.json` 和 `startup-fix-smoke.json`。
## 三工程实际暂停和恢复
使用 `outputs/prelaunch-pause-fixed-regression-20261112` 三份未执行的新工程副本,真实 EXE 外部 UIA 导入及执行,共 4 个替换请求。第一个工程的两个请求保存后,在第二个工程的 `session_startup` 阶段实际暂停;生产代码生成绑定本次会话、工程、job、attempt 的暂停证明,记录 `native_dispatch_not_started`、`worker_tree_exited`、`project_closed`。经真实 UI 继续同一队列、相同任务 ID 和计划绑定,三个工程最终均为 completed。
应用内三个前后完整网表均为 verified。外部另行使用 fresh native ASCII/HIER/Keyin 导出,三个工程的选中属性、全部物理脚/网络和非目标器件均通过。4 个 task/UID 的已保存事件各为 1,暂停前两个成功项没有重放。
第一会话 Mentor PID 20440,恢复会话 PID 29904;两个会话均正常退出,未强制回收。独立原生进程/桌面复查确认全部消失。最后对确切测试主窗口发送 WM_CLOSE,程序 exit 0。
### 原驱动失败与后续证据的区别
原始 `packaged-ui-report.json` 的 passed 为 false,错误是主窗口定位超时。原生枚举证明应用进程仍存活,主窗口 IsIconic 为 true,窗口尺寸为 159×27;现有驱动只枚举宽高超过 100×80 的窗口,因此只能看到结果窗。程序源码未发现主动最小化调用;本轮不推断最小化的发起者。
只恢复确切自有 HWND,随后通过 UI 关闭结果窗并只读核对终态,没有再次点击执行。原 observer 在执行收尾尚未结束时退出,第二桌面的旧快照为未消失,因此首次外部独立总报告也保留为 false;该报告三项工程内容检查均通过。旧 observer 和独立报告另存为 `before-terminal-recheck-*.json`,当前状态重新用原生 API 观察后,fresh CLI 独立检查重新执行,最终总报告通过。原驱动失败没有覆盖或改成通过。
主要证据:`minimized-window-observation.json`、`terminal-recheck-after-driver-failure.json`、`independent-report.json`、`desktop-observation.json`、`application-close.json`。该组只证明上述真实启动暂停与恢复,不证明命中了 worker 启动前取消,也不计作随机 20 项通过。
## 已采集的当前候选耗时
结构化阶段记录:`outputs/completion-validation-20261111/final-fresh3-step-timings.json`。四次成功替换的 execute_step 为 85.033、81.894、143.296、89.011 秒,中位数 87.022 秒。这些值包含各次实际执行边界,第二会话首次替换还包含 60.672 秒 CAD 启动,不能解释为纯 Replace Part 耗时。
| 实测阶段 | 观测值 | 口径 |
| --- | --- | --- |
| 计划准备 | 每次 0.066–0.152 秒 | 不含工程原生核验 |
| 工程备份 | 每工程 0.048–0.183 秒 | 恢复沿用有效原备份 |
| CAD 启动 | 第一会话 14.078 秒;恢复会话 60.672 秒 | 每会话一次,包含在对应首次执行包络内 |
| 工程打开/重开 | 每次累计 4.328–15.125 秒 | worker 阶段重入累计 |
| 原生 Replace Part | 每次 15.625–23.750 秒 | 不含外层属性恢复和保存 |
| 引脚索引 | 每次累计 8.014–38.312 秒 | 仍是显著耗时,不能由一次观测推断稳定速率 |
| 保存/关闭 | 保存事件快照 2.704–3.750 秒 | 末次工程关闭另在后续 worker 最终快照中累计 |
| 进度持久化 | 每次 0.000920–0.001909 秒 | 嵌套指标 |
| 资源收尾 | 暂停会话 9.125 秒;最终会话 2.703 秒 | 各自正常关闭工程、退出及桌面释放 |
暂停的未执行步骤用时 3.873 秒,不计成功替换耗时。上述嵌套和并行网表导出不能相加,缺失的独立阶段时间不估算。本组不是随机批次统计,不给出 P95 或相对旧版的因果提速结论。
## 新随机批次
`outputs/frozen-random-final-20261112-r3` 使用系统随机种子 `136648198642454135962238049530648953991`,20 个任务、28 个请求。请求、Value/NC 策略、故障类别及路径顺序在启动前固定,并绑定当前 EXE 和工具指纹。该轮失败:完成 2、阻塞 1、待执行 17。第三项无效料号在 native preflight 加载目标超时,尝试记录仍为 prepared,未派发原生替换。外部 fresh CLI 确认该工程 57 个符号、22 个网络全图与 before 完全相同,但打开/关闭的数据库字节变化,`native_completion` 又要求此前成功项的同页基线,首项失败因没有该基线而阻塞了后续。
本轮原始失败全部保留,两个 Mentor/桌面实际释放,EXE 正常 WM_CLOSE、exit 0。`failure-analysis-first-prewrite-baseline.json` 记录原因与原始证据。不能把完整图相同或资源释放称为 20 项验收通过。
修复复用已有快照核验:失败退出且尚未写入时,比较选中对象的属性、显示、位置及物理连接,核对未选中对象全状态,写入本次已核验的完整 sheet 状态,绑定原失败回执及释放证明,并将该状态传给后续独立项。失败仍是失败,不需要先有成功保存项;快照变化、已派发写入或未知结果均不由此授权继续。初始 3 项测试复现旧行为;补充快照属性/位置/非目标变化检查,最终 155 项周边回归通过,R10 完整回归及重建正在进行。
## Harness 与原生对照
`outputs/random-paired-holdout-final-r2/final-proof.json` 记录相同输入和 seed、相同有效模型 `skyworth-deepseek-v4.1-flash`、相同每项 600000 毫秒预算,两组各 20 个任务全部达到实际会话终态,每组 73 个原输入文件完整性通过。语义评分按原提示合同检查,严格评分原始失败仍保留。
| 指标 | 原生 | Harness |
| --- | --- | --- |
| 语义完成 | 20/20 | 20/20 |
| 严格格式通过 | 20/20 | 19/20 |
| 工具调用 | 199 | 134 |
| 人工确认/补问打断 | 0/0 | 0/0 |
| 输入和输出 token 合计 | 1672849 | 1930070 |
| 累计耗时 | 1469.69 秒 | 1130.56 秒 |
结果不支持“Harness 回复或执行比原生更好”。Harness 有一个额外字段导致的严格格式失败;语义完成率相同,工具调用较少,token 消耗较多。两组硬件负载及资源调度等待不同,耗时不能作因果速度比较。该组验证文件、Shell、多步骤 goal 和实际脚本执行,没有真实 CAD,也未单独验证 CAD 长恢复或排期入口,因此不能替代当前实机随机闭环。