fix(dsh): restore native files, ZIP extraction and official loading #18

Merged
abaishu0730 merged 2 commits from codex/dsh-files into main 2026-11-04 21:01:04 +08:00
Owner

DSH 的目录选择、附件呈现和文件工具被裁剪,导致用户无法正常上传、读取文件或分析压缩包。本次恢复官方文件入口与读取能力,增加 ZIP 解压,并直接使用官方前端加载动画。

  • 恢复官方附件栏、文件/目录引用、目录选择和文件侧栏。普通对话可读取文件、搜索目录、切换工作目录,ZIP 解压返回新建目录和真实文件清单;解压前核对路径、大小和 CRC,重复操作不覆盖已有文件。
  • ZIP 完成整包元数据预检后,在最多两个后台 Worker 中解压;完整核对文件名集合、长度及 CRC,再写入目录。特殊文件名无法可靠表示时明确拒绝,取消会终止对应线程,避免静默漏文件或按条目创建大量线程。
  • 直接加载固定 Harness 版本原有 index.html、CSS 和 HARNESS 动画,使用官方启动等待信号,运行时就绪后进入官方 HTTP 页面;移除自制首页标语。实测冷启动超过原 120 秒上限,将等待上限调整至 300 秒。
  • 基于最新 main@1340f6c,包含 V1.2.2 和操作历史;保留已合并的模型配置修复。任务写入仍通过任务中心,自动异常会话仍只使用事件快照。

验证:

  • 真实 Qt 选择文件并点击打开,上传文本与 ZIP 的落盘字节一致。真实测试 API 模型按自然语言请求完成 read → extract_zip → read,准确返回两份中文文本和真实解压路径。
  • 官方加载动画、鲸鱼 SVG、模型选择、原生取消确认、导航草稿保留和正常退出通过;最终实测启动等待 30.49 秒。
  • 实际 Harness CLI 文件/目录/搜索/解压、重复操作、越界路径、损坏 CRC 和自动会话隔离通过。原生配置持久化与工具准入验证通过。
  • 最终 Python 全套回归:1463 passed、1 skipped(需指定官方 7-Zip 发布工具)、1 条 pywinauto COM 模式警告。特殊文件名、4 个多文件 ZIP 并行、峰值两个线程及活动取消的真实 Harness 回归通过;独立审查另验证排队取消。无新增阻断发现。

详细记录:docs/testing/2026-11-04-dsh-files-native-loading.md。本次支持普通 ZIP;未构建新 EXE。

DSH 的目录选择、附件呈现和文件工具被裁剪,导致用户无法正常上传、读取文件或分析压缩包。本次恢复官方文件入口与读取能力,增加 ZIP 解压,并直接使用官方前端加载动画。 - 恢复官方附件栏、文件/目录引用、目录选择和文件侧栏。普通对话可读取文件、搜索目录、切换工作目录,ZIP 解压返回新建目录和真实文件清单;解压前核对路径、大小和 CRC,重复操作不覆盖已有文件。 - ZIP 完成整包元数据预检后,在最多两个后台 Worker 中解压;完整核对文件名集合、长度及 CRC,再写入目录。特殊文件名无法可靠表示时明确拒绝,取消会终止对应线程,避免静默漏文件或按条目创建大量线程。 - 直接加载固定 Harness 版本原有 index.html、CSS 和 HARNESS 动画,使用官方启动等待信号,运行时就绪后进入官方 HTTP 页面;移除自制首页标语。实测冷启动超过原 120 秒上限,将等待上限调整至 300 秒。 - 基于最新 main@1340f6c,包含 V1.2.2 和操作历史;保留已合并的模型配置修复。任务写入仍通过任务中心,自动异常会话仍只使用事件快照。 验证: - 真实 Qt 选择文件并点击打开,上传文本与 ZIP 的落盘字节一致。真实测试 API 模型按自然语言请求完成 read → extract_zip → read,准确返回两份中文文本和真实解压路径。 - 官方加载动画、鲸鱼 SVG、模型选择、原生取消确认、导航草稿保留和正常退出通过;最终实测启动等待 30.49 秒。 - 实际 Harness CLI 文件/目录/搜索/解压、重复操作、越界路径、损坏 CRC 和自动会话隔离通过。原生配置持久化与工具准入验证通过。 - 最终 Python 全套回归:1463 passed、1 skipped(需指定官方 7-Zip 发布工具)、1 条 pywinauto COM 模式警告。特殊文件名、4 个多文件 ZIP 并行、峰值两个线程及活动取消的真实 Harness 回归通过;独立审查另验证排队取消。无新增阻断发现。 详细记录:docs/testing/2026-11-04-dsh-files-native-loading.md。本次支持普通 ZIP;未构建新 EXE。
abaishu0730 added 1 commit 2026-11-04 19:06:28 +08:00
fix(dsh): restore native file tools and official loading UI
Core regression / Python core and release configuration (push) Successful in 20s
Core regression / JavaScript syntax (push) Successful in 3s
Core regression / Python core and release configuration (pull_request) Successful in 15s
Core regression / JavaScript syntax (pull_request) Successful in 3s
705c15eb93
Author
Owner

复审提交:705c15eb930f271d97d5e7b0b2adeb998172938d(PR18)。建议修改后再合并,有两项可复现 P2 问题。

  1. [P2] 解压前后必须核对文件名集合,防止漏文件仍报告成功。 integration/dsh/task-plugin/files.mjs:55-58 仅比较 filter 调用次数和中央目录条目数,然后只校验 Object.entries(files)。当前固定依赖 fflate 0.8.3 使用普通对象存储解压结果,根目录文件名 __proto__ 会命中原型 setter,因此不出现在 own entries 中。真实 Harness 探针:Python zipfile 创建仅含 __proto__ 的合法 ZIP,调用 extract_zip 返回 isError:false, total_entries:1, files:[], truncated:false,输出目录实际为空。把该文件 payload 改坏、保留原 CRC 后仍返回成功,说明这条文件的 CRC 完全没被检查。应支持该文件名,或明确拒绝这类无法可靠表示的条目;成功前必须校验解压结果的名称集合与中央目录/expected 一致,并为合法及 CRC 损坏场景添加回归。

  2. [P2] 限制解压工作线程,并在取消/校验失败时终止解压。 integration/dsh/task-plugin/files.mjs:43-54 直接把整个 ZIP 交给异步 unzip。fflate 会为每个大于等于 512 KiB、压缩比较高的文件立即创建一个 Node Worker;现有 256 MiB 输出大小限制并不限制线程数量。真实 Harness 中用 20 个 600 KiB 文本文件(共约 11.7 MiB 解压数据)验证,观察到同时创建 20 个 Worker,进程 RSS 从约 310 MiB 增到 417 MiB。当前限制内可同时创建数百个 Worker,普通多文件压缩包就可能拖慢/耗尽助手进程资源。此外返回的终止函数没有保存,也未与 exec.signal 绑定,用户取消或 filter 抛错时已经启动的解压不能及时停止。应先完成整包元数据预检,再用受限并发或流式方式解压,并连接取消/错误清理;不要用主线程全同步解压阻塞 UI 服务。

验证结果:

  • 本提交四项 Gitea CI 成功;相对 main 不落后,无合并冲突。
  • 隔离提交运行 tests/ui、tests/dsh、tests/packaging:410 passed,1 skipped(未指定官方 7-Zip 发布工具的 Windows 打包集成测试)。
  • tools/verify_dsh_files.mjs 实际 Harness 文件读取、目录搜索、解压、普通 CRC 错误、路径越界和当前自动异常会话隔离均通过。
  • tools/accept_dsh_desktop.py --file-check:真实 Qt 选择文件及文本/ZIP 上传、落盘内容、官方加载动画、模型设置入口、确认取消、导航草稿保留和正常退出通过;本机本轮启动等待 11.31 秒。
  • 上述边界探针直接通过真实 Harness 工具执行;Worker 观测仅代理原 Worker 构造器计数,未替换解压逻辑。

本次未修改 PR 源码、未合并、未重新构建 EXE,也未调用真实模型或执行 CAD 替换。

复审提交:705c15eb930f271d97d5e7b0b2adeb998172938d(PR18)。建议修改后再合并,有两项可复现 P2 问题。 1. **[P2] 解压前后必须核对文件名集合,防止漏文件仍报告成功。** `integration/dsh/task-plugin/files.mjs:55-58` 仅比较 filter 调用次数和中央目录条目数,然后只校验 `Object.entries(files)`。当前固定依赖 fflate 0.8.3 使用普通对象存储解压结果,根目录文件名 `__proto__` 会命中原型 setter,因此不出现在 own entries 中。真实 Harness 探针:Python zipfile 创建仅含 `__proto__` 的合法 ZIP,调用 extract_zip 返回 `isError:false, total_entries:1, files:[], truncated:false`,输出目录实际为空。把该文件 payload 改坏、保留原 CRC 后仍返回成功,说明这条文件的 CRC 完全没被检查。应支持该文件名,或明确拒绝这类无法可靠表示的条目;成功前必须校验解压结果的名称集合与中央目录/expected 一致,并为合法及 CRC 损坏场景添加回归。 2. **[P2] 限制解压工作线程,并在取消/校验失败时终止解压。** `integration/dsh/task-plugin/files.mjs:43-54` 直接把整个 ZIP 交给异步 unzip。fflate 会为每个大于等于 512 KiB、压缩比较高的文件立即创建一个 Node Worker;现有 256 MiB 输出大小限制并不限制线程数量。真实 Harness 中用 20 个 600 KiB 文本文件(共约 11.7 MiB 解压数据)验证,观察到同时创建 20 个 Worker,进程 RSS 从约 310 MiB 增到 417 MiB。当前限制内可同时创建数百个 Worker,普通多文件压缩包就可能拖慢/耗尽助手进程资源。此外返回的终止函数没有保存,也未与 exec.signal 绑定,用户取消或 filter 抛错时已经启动的解压不能及时停止。应先完成整包元数据预检,再用受限并发或流式方式解压,并连接取消/错误清理;不要用主线程全同步解压阻塞 UI 服务。 验证结果: - 本提交四项 Gitea CI 成功;相对 main 不落后,无合并冲突。 - 隔离提交运行 tests/ui、tests/dsh、tests/packaging:410 passed,1 skipped(未指定官方 7-Zip 发布工具的 Windows 打包集成测试)。 - tools/verify_dsh_files.mjs 实际 Harness 文件读取、目录搜索、解压、普通 CRC 错误、路径越界和当前自动异常会话隔离均通过。 - tools/accept_dsh_desktop.py --file-check:真实 Qt 选择文件及文本/ZIP 上传、落盘内容、官方加载动画、模型设置入口、确认取消、导航草稿保留和正常退出通过;本机本轮启动等待 11.31 秒。 - 上述边界探针直接通过真实 Harness 工具执行;Worker 观测仅代理原 Worker 构造器计数,未替换解压逻辑。 本次未修改 PR 源码、未合并、未重新构建 EXE,也未调用真实模型或执行 CAD 替换。
abaishu0730 added 1 commit 2026-11-04 20:58:33 +08:00
fix(dsh): validate ZIP entries and bound decompression workers
Core regression / Python core and release configuration (push) Successful in 20s
Core regression / JavaScript syntax (push) Successful in 3s
Core regression / Python core and release configuration (pull_request) Successful in 17s
Core regression / JavaScript syntax (pull_request) Successful in 3s
b00ca7dac9
abaishu0730 merged commit 9316cf4fc4 into main 2026-11-04 21:01:04 +08:00
Author
Owner

回审已合并 PR #18(fix(dsh): restore native files, ZIP extraction and official loading)

merge 9316cf4,first-parent diff 21 文件 +518/−42。重点:新增 extract_zip 工具(zip-worker.mjs + files.mjs)、放开官方文件 UI、dsh_native.py 允许 file:// 引导页。

结论:合并方向正确,但 extract_zip 与本产品"只读沙箱"的约定冲突,建议尽快补修(P1)


P1 extract_zip 绕过只读沙箱,模型可让文件落到任意可写目录

事实(今天 main 上仍然如此):

  • integration/dsh/start.mjs:46 明确配置 sandbox-policy mode: 'read-only'、workspaceRoot: DX_DSH_WORKSPACE;
  • start.mjs:43 把 tool-fs 配成 {read:true, readImage:true, write:false, edit:false}——产品级意图是 AI 不能写文件;
  • 但同一 PR 注册的 extract_zip(task-plugin/files.mjs:50-77)用 原生 node:fs/promises 直接落盘:mkdir + writeFile(..., {flag:'wx'})。自定义工具不受 tool-fs/sandbox-policy 约束。
  • 目标目录只做了解析、没有做包含校验:files.mjs:61 const parent = await realpath(path.resolve(cwd, args.output_directory || '.'))。output_directory 可以是 ..\..\.. 或绝对路径(如 %APPDATA%\...\Startup)。

触发场景:模型(或被提示注入的用户内容)调用 extract_zip,output_directory 指向工作区之外,ZIP 里放一个 *.bat/*.ps1/*.lnk。wx 只阻止覆盖,不阻止新建;工具执行不需要用户逐次确认。

后果:等于在"只读"产品里开了一条不需要用户确认的任意文件写入通道。即使当前模型规矩,这条通道也会被提示注入利用。

建议(任一即可,建议同时做):

  1. parent 必须 is_relative_to(canonical(workspace)),否则拒绝;
  2. 或把 extract_zip 改成"需要用户确认"的权限类别(approval: ask),并在 UI 里显示目标目录;
  3. 在 --doctor 里把"文件工具写入是否受沙箱约束"作为可核验项暴露出来(现在 fileTools:true 只说明工具存在)。

P2 ZIP 炸弹防护用的是"声明大小",实际解压不受限

zip-worker.mjs 的 256 MiB / 10000 条限制来自中央目录的 originalSize(checksums 预扫描),随后 unzipSync(bytes) 一次性解压。若归档在中央目录里少报大小而实际膨胀巨大,unzipSync 仍会按真实输出分配内存;而 Worker 与宿主线程共享进程堆 → 不是"worker 被 OOM 杀",而是整个 DSH 宿主进程被杀。

建议:改成流式解压(fflate Unzip),在实际输出字节数上累加,超过上限立即 abort;CRC 校验保留(它已经在最后做)。


P3

  1. Windows 保留名/尾随点空格:zip-worker.mjs 只拒绝绝对路径、..、控制字符与 :,没有拒绝 CON/NUL/AUX/COM1、尾随 ./空格。当前影响仅限"临时目录里写不出来/写错名",但会产生难懂错误;建议在文件名规范化后统一拒绝。
  2. crc32 依赖新 Node:node:zlib 的 crc32 需要较新版本;package.json 已声明 engines: node >=24.9.0,打包运行时应确保一致,否则 extract_zip 会以导入失败告终(错误信息尚可读)。
  3. 放开官方文件 UI:本 PR 把 ui-sidebar-files、workspace-files、ui-attachment、file-reference-local、ui-reference、directory-picker* 从 DISABLED 里移除了。工具数守卫仍然只允许 TASK_TOOLS + FILE_TOOLS(13 个),所以没有额外工具被注册;但文件侧栏/附件会把本地路径暴露给模型,建议在文档里写明"文件引用会把路径交给本地 harness"。

做得好的部分(建议保留)

  • ZIP 先做纯元数据预扫描再解压:路径(绝对/../控制字符)、__proto__、重复项、条数与声明大小都在解压前拒绝;
  • 解压后逐条 crc32 与中央目录比对,名称集合必须完全一致;
  • 解压失败/取消只删除本次创建的 dsh-extracted-* 临时目录,wx 保证不覆盖已有文件;
  • worker 有并发上限(2),取消时 terminate();
  • dsh_native.py 的 file:// 放行只针对 loading_url 本身,且 LocalContentCanAccessFileUrls=False;__DSH_BOOT_READY__ 只在 file: 协议下打桩,不会影响本地 http 运行时。

验证记录

  • 逐行读 9316cf4 全量 diff(21 文件);关键文件在 origin/main 上逐一确认仍然存在(start.mjs:43/46/47、files.mjs:50-77、zip-worker.mjs)。
  • 未跑测试:该 PR 的验证脚本是 tools/verify_dsh_files.mjs / verify_dsh_zip_review.mjs / verify_dsh_file_ui.mjs(需 node + harness),本轮以代码审查为主。

未验证边界

未在真实 Node 24 / 打包运行时上跑 extract_zip;未构造 ZIP 炸弹或恶意路径样本做动态验证(结论基于代码路径)。

# 回审已合并 PR #18(`fix(dsh): restore native files, ZIP extraction and official loading`) merge `9316cf4`,first-parent diff 21 文件 +518/−42。重点:新增 `extract_zip` 工具(`zip-worker.mjs` + `files.mjs`)、放开官方文件 UI、`dsh_native.py` 允许 `file://` 引导页。 ## 结论:合并方向正确,但 `extract_zip` 与本产品"只读沙箱"的约定冲突,建议尽快补修(P1) --- ## P1 `extract_zip` 绕过只读沙箱,模型可让文件落到任意可写目录 **事实(今天 main 上仍然如此)**: - `integration/dsh/start.mjs:46` 明确配置 `sandbox-policy` `mode: 'read-only'`、`workspaceRoot: DX_DSH_WORKSPACE`; - `start.mjs:43` 把 `tool-fs` 配成 `{read:true, readImage:true, write:false, edit:false}`——产品级意图是 **AI 不能写文件**; - 但同一 PR 注册的 `extract_zip`(`task-plugin/files.mjs:50-77`)用 **原生 `node:fs/promises`** 直接落盘:`mkdir` + `writeFile(..., {flag:'wx'})`。自定义工具不受 `tool-fs`/`sandbox-policy` 约束。 - 目标目录只做了解析、没有做包含校验:`files.mjs:61` `const parent = await realpath(path.resolve(cwd, args.output_directory || '.'))`。`output_directory` 可以是 `..\..\..` 或绝对路径(如 `%APPDATA%\...\Startup`)。 **触发场景**:模型(或被提示注入的用户内容)调用 `extract_zip`,`output_directory` 指向工作区之外,ZIP 里放一个 `*.bat`/`*.ps1`/`*.lnk`。`wx` 只阻止覆盖,不阻止新建;工具执行不需要用户逐次确认。 **后果**:等于在"只读"产品里开了一条不需要用户确认的任意文件写入通道。即使当前模型规矩,这条通道也会被提示注入利用。 **建议**(任一即可,建议同时做): 1. `parent` 必须 `is_relative_to(canonical(workspace))`,否则拒绝; 2. 或把 `extract_zip` 改成"需要用户确认"的权限类别(`approval: ask`),并在 UI 里显示目标目录; 3. 在 `--doctor` 里把"文件工具写入是否受沙箱约束"作为可核验项暴露出来(现在 `fileTools:true` 只说明工具存在)。 --- ## P2 ZIP 炸弹防护用的是"声明大小",实际解压不受限 `zip-worker.mjs` 的 256 MiB / 10000 条限制来自中央目录的 `originalSize`(`checksums` 预扫描),随后 `unzipSync(bytes)` 一次性解压。若归档在中央目录里少报大小而实际膨胀巨大,`unzipSync` 仍会**按真实输出分配内存**;而 `Worker` 与宿主线程共享进程堆 → 不是"worker 被 OOM 杀",而是整个 DSH 宿主进程被杀。 建议:改成流式解压(fflate `Unzip`),在**实际输出字节数**上累加,超过上限立即 abort;CRC 校验保留(它已经在最后做)。 --- ## P3 1. **Windows 保留名/尾随点空格**:`zip-worker.mjs` 只拒绝绝对路径、`..`、控制字符与 `:`,没有拒绝 `CON/NUL/AUX/COM1`、尾随 `.`/空格。当前影响仅限"临时目录里写不出来/写错名",但会产生难懂错误;建议在文件名规范化后统一拒绝。 2. **`crc32` 依赖新 Node**:`node:zlib` 的 `crc32` 需要较新版本;`package.json` 已声明 `engines: node >=24.9.0`,打包运行时应确保一致,否则 `extract_zip` 会以导入失败告终(错误信息尚可读)。 3. **放开官方文件 UI**:本 PR 把 `ui-sidebar-files`、`workspace-files`、`ui-attachment`、`file-reference-local`、`ui-reference`、`directory-picker*` 从 `DISABLED` 里移除了。工具数守卫仍然只允许 `TASK_TOOLS + FILE_TOOLS`(13 个),所以没有额外工具被注册;但文件侧栏/附件会把**本地路径**暴露给模型,建议在文档里写明"文件引用会把路径交给本地 harness"。 ## 做得好的部分(建议保留) - ZIP 先做**纯元数据预扫描**再解压:路径(绝对/`..`/控制字符)、`__proto__`、重复项、条数与声明大小都在解压前拒绝; - 解压后逐条 `crc32` 与中央目录比对,名称集合必须完全一致; - 解压失败/取消只删除本次创建的 `dsh-extracted-*` 临时目录,`wx` 保证不覆盖已有文件; - worker 有并发上限(2),取消时 `terminate()`; - `dsh_native.py` 的 `file://` 放行只针对 `loading_url` 本身,且 `LocalContentCanAccessFileUrls=False`;`__DSH_BOOT_READY__` 只在 `file:` 协议下打桩,不会影响本地 http 运行时。 ## 验证记录 - 逐行读 `9316cf4` 全量 diff(21 文件);关键文件在 `origin/main` 上逐一确认仍然存在(`start.mjs:43/46/47`、`files.mjs:50-77`、`zip-worker.mjs`)。 - 未跑测试:该 PR 的验证脚本是 `tools/verify_dsh_files.mjs` / `verify_dsh_zip_review.mjs` / `verify_dsh_file_ui.mjs`(需 node + harness),本轮以代码审查为主。 ## 未验证边界 未在真实 Node 24 / 打包运行时上跑 `extract_zip`;未构造 ZIP 炸弹或恶意路径样本做动态验证(结论基于代码路径)。
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Skyworth_Digital_Hardware/dxdesigner-part-replacement#18