Files
dxdesigner-part-replacement/docs/testing/2026-10-17-accuracy-audit.md
T

9.8 KiB
Raw Blame History

执行准确性逐流程审查

基线:bc36289。目标是防止漏替换、范围外修改及未经核验的成功状态;不以测试通过率等同于所有工程上的绝对准确率。只在 build 工程副本做实机验证,不打包发布,不修改 feedback/。

审查日期:2026-10-17 至 2026-10-19。下表的“通过”仅指列出的边界和测试,不能外推为任意工程的正确性证明。

审查矩阵

流程 要证明的边界 状态
目录发现与任务绑定 一个任务只能指向已确认的工程,批次工程列不误配 工程绑定和多工程回归通过
BOM 读取与工程分配 文本料号、位号范围、重复/冲突及部分失败结果明确 修复数字料号静默改写;68 项 BOM 回归通过
导入预览、保存与取消 未确认不落地;确认时计划、工程及文件基线未变化 原有事务、过期预览、取消与 UI 状态回归通过
原生/CAD 位号采集 实例生效值、全量范围、读取异常不当作不存在 修复 FindAttribute/InstanceValue 异常被吞,实际不存在仍可返回空
精确位号队列 任务、图页、UID、旧料号、旧 Value、选项与执行输入一致 修复恢复写入前 UID/位号未严格核对;反例通过
原生替换 选中库身份、实际物料属性与原 UID 一致 正常、轮询和恢复统一核验选中库行;不再用位号代替丢失 UID
几何、显示、Value 与 NC 只改已授权字段,NC 与显示策略可独立验证 各 Value 策略、NC 和显示恢复回归通过;两项实机保存重开通过
引脚和网络 不用网络名称/数量相同代替逐引脚对应 修复遗漏 Net UID;删除仅比网络数量的降级路径;反例通过
未选中器件 属性、几何、样式及连接均保持原状 全范围新增 X/G 完整状态证据,移位/样式/网络/缺引脚反例通过
保存关闭与重开 磁盘读回仍等于已核验目标,不以当前值相互自洽代替预期值 保存前捕获已认证库字段,重开精确比对;两项实机读回通过
备份、取消、超时、恢复 备份有效;未核验修改阻止后续执行;恢复证据绑定当前队列 修复备份未校验内容与工程身份;33 项队列/备份回归通过
已完成重跑、UI 结果与释放 状态不能串轮次/任务;释放不确定不能报完成 修复工程缺失误计 completed/失败0;重跑、UI、释放回归通过

已修复的准确性缺陷

  1. Excel 数值 123 配合 000000 格式显示为 000123,原导入会改成 123。旧、新料号现在只接受文本;错误注明行号。模板已有工程行和首个编辑行显式设置文本格式及自动换行,不新增 500 行空白实体。
  2. 正常替换仅要求 Part Name/Part Label 非空,恢复又对字段忽略大小写。现在各生产调用均绑定选中库行,精确核验字段,1m 与 1M 不等价。
  3. Python 恢复允许以同名位号替代消失 UID;VBS 手动恢复也可能按位号/位置找到另一个器件后写属性。现在在恢复写入前必须匹配原 UID 和位号。
  4. FindAttribute 和 InstanceValue 的 COM 读取异常原来可能被当成属性缺失或继承值,导致漏采集/no_match。现在传播异常并停止;真正不存在或空实例值的继承语义保留。
  5. 原连接校验丢弃 Net UID,且源引脚号为空时可仅按网络名数量放行,无法识别物理引脚接网互换。现在保留 UID+名称,要求逐引脚物理对应,仅允许公共平移;无法证明就拒绝。
  6. 原未选中保护只有六个字段,部分全量模式还跳过保护。现在所有范围采集 U7 加 X/G 扩展,覆盖位置、方向、缩放、引脚网络、全部属性值及样式;每次验证刷新组件/引脚代理。合法零引脚注释有显式 NO_PINS。
  7. 保存后原校验可能让错误的 Part Label 和 Value 互相“证明”。现在独立保留已核验库字段,恢复后和保存重开后精确比较。
  8. 工程文件执行前消失会写 batch_skipped,却未计入失败,还可能写成“未命中”。现在失败数、任务结果及日志一致。
  9. 原备份恢复只看 manifest 外壳。现在核验工程/目录身份、文件全集、大小、SHA256、读文件句柄和路径身份,拒绝 junction/链接/hardlink、缺失及额外文件。备份损坏或状态丢失后有执行证据时停止,不能用已部分修改的工程伪造“原始备份”。

验证记录

  • 安全与 UI/队列回归:tests/v1_1 加 test_verification.py、test_execution_safety.py、test_application.py、test_batch.py,排除单独记录的 1000 步性能例:594 passed / 1 deselected,138.68 秒。
  • 原生身份、等待、恢复和 VBS 联合回归:154 passed,43.36 秒。随后补充 UID/位号写前守门,两项均先失败;VBS/Value/原生替换三个文件最终 122 passed,36.35 秒。真实 cscript 执行与全文件 Option Explicit 编译不启动 CAD。
  • BOM 专项:68 passed,60.64 秒;备份和任务队列专项:33 passed,8.43 秒。以上集合有交集,不相加声称总覆盖量。
  • 原 1000 步性能测试仍未满足 <30 秒:隔离提取 bc36289 基线 35.83 秒,本轮 35.72 秒,两者在速度断言之前的队列结果断言通过,速度阈值失败,后续内存断言未执行。未修改测试阈值,不能报告全部测试通过。
  • 2026-10-17 的正式队列因会话中断仅留到 query_components,不计为验收;进程已不存在,独立确认该私有桌面释放。2026-10-19 在新副本重跑。
  • 首轮 BOM 反例遗漏外部采集拦截,误启动过一次测试私有 CAD;未进行替换/保存,进程退出后独立确认桌面释放。随后补齐严格 tripwire,错误 BOM 在外部采集前拒绝。

原始证据位于忽略目录 build/accuracy-audit-20261017/ 和 build/accuracy-formal-bom-20261019/,不提交工程数据或厂商二进制。

兼容性与验收边界

  • 没有 X/G 完整未选中证据的历史快照仍可解析,但拒绝直接认定完整自动恢复成功,需人工核验;不能为兼容旧记录放宽准确性守门。
  • 更换不同符号几何、网络 UID 重建等场景可能被严格校验拒绝。这是明确失败,不能降级为只比较网络名或数量后报告成功。
  • 保留 BOM 的既有合并语义:未列出的位号保留原编辑与勾选,不擅自清空整批计划。
  • 本轮实机只覆盖下列明确记录的工程、器件及模式,不能代替多单元器件、复杂层级、所有工程/库版本的专项认证。取消、崩溃、损坏备份等故障主要通过隔离反例覆盖。
  • 本轮不打包、不发布,不启用研究型无弹窗替换后端,不改 feedback/。

正式 BOM 实机流程

新副本 build/accuracy-formal-bom-20261019/project/Audio_D2128.prj:创建任务 → 导出默认 BOM → 填入两项 → 数字料号报告 1 行失败/1 行未核验且未保存 → 改为文本后两行通过,预览仍未写入 → 确认计划 → 正式队列执行 → 每项保存重开 → 独立原生读回 → 独立 ASCII 层级/扁平图对比。

项目 结果
RV05 4100-CA0000-T7 → 4100-CA0000-T0,Value=0R,原 UID 保留
RV14 4100-CA1030-T7 → 4100-CA0000-T0,Value=0R/NC,原 UID 保留
同旧料号的 RV11/RV08/RV19 料号、Value、UID 均保持不变
队列结果 saved=2、failed=0、no_match=0,任务 completed
独立层级和扁平对比 各 57 个器件、103 个引脚、22 个网络;其余 55 个器件全部导出字段相等;所有引脚接网与网络图相等
目标器件差异 仅 Part Number/Part Name/Part Label/Value,以及原未赋引脚号提升为库引脚号;引脚类型、宽度、网络保持不变
私有桌面 3659 次采样,未成为主桌面前台;主桌面保持 Default;自有 CAD 退出、桌面消失,无观察错误
源工程 原始 .prj 与 icdb.dat 前后 SHA256 不变;全部写入仅发生在新副本
耗时 两项正式队列 799.50 秒,不含模板/BOM 和独立导出

运行使用启动时复制的 VBS,覆盖完整未选中检查、严格网络和保存库身份核验。运行期间源码后补的两项为逐器件进度反馈、恢复写前 UID/位号守门,分别经功能回归和真实 cscript 反例验证;没有修改正在运行的副本脚本。实际保存结果的 UID/位号亦经独立读回核对一致。

尚未满足的发布条件

  1. 完整验证耗时过高。 当前串行多次读取全部未选中器件,57 个器件的两项替换达到 13 分 19.5 秒。阶段心跳已补齐,避免长时间没有反馈;后续应减少没有中间 CAD 写入的重复读取或改用经过验证的更快接口。不能直接删掉范围外保护来恢复速度。 后续重复步骤修复的同源工程实测已降至 403.625 秒,减少 49.52%,仍未达到建议的 180 秒目标;详见 重复步骤扫描与修复。本报告的 799.50 秒保留为该优化之前的真实基线。
  2. PCB 封装映射未获得完整证明。 独立扁平导出中目标 Part Name 为 RESC1608N,而 Cell Name 仍为原来的 RESC1005N_0402;层级导出 Cell Name 为空。这至少说明仅核验 Part Name 不能证明最终 PCB Cell 已同步。尚未认证该值的库映射/缓存/实例继承来源,本轮未擅自清空或改写;实际 PCB 封装同步不在本次通过结论内。
  3. 原 1000 步性能阈值仍失败,复杂层级、多单元、多 gate 及不同符号拓扑未完成同等实机认证。因此本轮结论为准确性守门已显著补强、已记录样本验证通过,不是全场景 100% 或发布验收通过。