Files
dxdesigner-part-replacement/docs/testing/verification-closed-loop-standard.md
T

3.9 KiB
Raw Blame History

工程校验闭环标准 v1

本标准用于 N12 及后续功能。写完代码、测试通过、工程检查一致、业务闭环通过、允许发布,是不同结论。每次验收必须声明正在证明哪一个结论。

单次功能闭环的通过条件

编号 必须证明 不满足时
C01 输入冻结 开始前写下预期工程名单、数量、前后摘要、输入版本和检查策略;配对预览与实际导入相符 失败;不能从运行后的结果反推预期
C02 完整执行 用户显式开始;运行成员与冻结范围完全相同,每项都有属于本次运行的终态尝试 有排队、运行、停止、中断、漏项或重复项,均不能算完整闭环
C03 判断正确 每项结论符合事先指定的预期;执行成功与 CONSISTENT/WARNING/DIFFERENT 分开;必查未知不得通过 误报、漏报、未知充当一致都失败
C04 事实同源 页面、逐脚表、JSON和HTML报告绑定同一 item、输入版本、attempt、generation、输入摘要和证据摘要;原文摘要可复核 任何串版本、旧结果、缺证据或报告不符都失败
C05 只读安全 校验前后全部已冻结源文件摘要不变,新增换料操作数为0,执行资源退出有证明;已有换料历史以开始前基线计数核对 不变性或退出证明缺失,失败并保留现场
C06 重启回读 正常退出后重启,结果及证据仍可查看,尝试数不增加、不自动重跑 失败
C07 重校验 同一输入重新执行时 attempt 更新、generation 递增;旧结果保留,新旧报告均可追溯 失败
C08 异常隔离 反脚/断线等业务异常不挡后续工程;停止后未派发项仍待校验;资源/存储未知暂停正确范围;仍可新建独立任务 相应异常用例失败;不能以“正常样本跑过”替代

只有本次要求的检查全部通过,才写“该功能闭环通过”。验证程序对失败必须非零退出;结构性检查失败不能被 WARNING、正常进程退出或成功生成文件覆盖。某项故障测试验证了预期失败,不等于故障工程已经检查通过。

固定业务反例

物理脚1/2互换、断线、短接、位号或物理脚号变化必须为 DIFFERENT;loop→outloop 且连接不变必须为 WARNING;必查字段缺失必须为 INCOMPLETE。图中固定物理脚号位置,异常端点可与逐脚表和原文对应。自建格式夹具用于反例和可复现测试,必须明确标注,不能当成真实CAD导出证据。

两条业务路径分别验收

  1. 独立输入:实际开发包中批量添加 → 开始全部 → 原生导出 → 查看图表 → 导出报告 → 正常关闭 → 重启查看 → 重校验 → 再导出。
  2. 成功结果交接:真正已落盘的成功换料回执 → 自动登记校验 → 同一套执行、复核与报告。重复接收不重复建项,未保存项不得作为成功项。

两条路径不能互相代替。受控服务测试可证明交接合同、幂等和非阻塞;没有取得实际成功回执触发的包内证据时,该路径记“实际闭环未测”。本任务不为补验收重新执行客户换料,也不修改其他任务的旧执行器。

留证与发布

验收记录至少包含:代码提交、EXE SHA256、证据类型、预期清单、输入和报告摘要、任务/运行/尝试身份、每项标准的 passed/failed/not_run、失败原因、截图和实际命令。前一次运行、仅有截图、历史分组测试覆盖均不能替代本次闭环。

发布还要求相关回归通过、连续默认全量无未解决失败、实际包身份与源码相符、声明的两条实际路径通过。现有时序波动仍是发布保留项,不在本功能中改断言掩盖。引脚级Value和确切库内脚到焊盘映射仍未覆盖;不能写成“封装全部正确”。