ChatGPTClaudeGrok / X / CursorGemini

dsh-computer-use-win:DeepSeek Harness 的 Windows 电脑操控插件

yu-tao-li/dsh-computer-use-win

工具与能力已验证
收录时间 2026-08-17
页面最后更新 2026-11-12

为 DeepSeek Harness 提供 Windows 桌面操控能力,基于 MCP 与 UIA 的 22 个工具,让 agent 能看能点真实应用。

dsh-computer-use-win 是 DeepSeek Harness 的 Windows 电脑操控插件,通过 MCP stdio 服务器和 PowerShell/UIA 桌面引擎,让 agent 能看(UIA 无障碍树、窗口截图、OCR)也能做(鼠标、键盘、UIA 语义动作、窗口管理)真实的 Windows 桌面应用。它解决 agent 无法直接操作桌面 GUI 的问题,提供 22 个工具,零运行时依赖,不改 DSH 本体。内置坐标 homing、急停 failsafe、identity guard 等安全机制,确保操作可控。由 Yu-tao-Li 维护,采用 MIT 协议,最近更新于 2026-08。

如何安装

install
npmdsh plugin --profile <your-profile> add dsh-computer-use-win

--profile 换成你本机实际使用的 profile 名(ls ~/.dsh/profiles/ 可查看目录名):浏览器版通常是 web,桌面版通常是 desktop 或 desktop-NNN。

分类
工具与能力
平台
DSH Plugin
作者
yu-tao-li
分发方式
插件

dsh-computer-use-win 核心特性

UIA 无障碍树观察三级截图链语义化输入操作OCR 文字回退内置安全机制
Listed on dsh-plugin.org

dsh-computer-use-win 仓库简介

它是做什么的?

dsh-computer-use-win 是 DeepSeek Harness(DSH)的 Windows 电脑操控插件,通过 MCP stdio 服务器和 PowerShell/UIA 桌面引擎,让 agent 能看(UIA 无障碍树、窗口截图、OCR)也能做(鼠标、键盘、UIA 语义动作、窗口管理)真实的 Windows 桌面应用。它解决 agent 无法直接操作桌面 GUI 的问题,提供 22 个工具,零运行时依赖,不改 DSH 本体。由 Yu-tao-Li 维护,采用 MIT 协议,最近更新于 2026-08。

核心功能

  • 文本优先的观察:UIA 无障碍树三视图(control/content/raw),按 name/automationId/类名/值找控件,元素 id 用 UIA RuntimeId,UI 刷新后仍稳定。
  • 三级截图链:PrintWindow(非前台窗口也能抓)→ WGC(Windows.Graphics.Capture)→ 屏幕区域兜底,带 occludedPossible 标记,PNG 30 分钟自动清理。
  • 三条输入路径:语义(UIA pattern)、前台(SetCursorPos + SendInput + 剪贴板)、后台(PostMessage 直进窗口消息队列,投递未验证时如实上报 verified:false)。
  • UIA 盲区 OCR 回退:Windows.Media.Ocr 返回文字和逐词坐标词框,query 命中后自动回查匹配词下的控件。
  • 内置安全机制:坐标 homing(窗口移动自动补偿)、急停 failsafe(鼠标停角落 500ms 拒绝输入)、identity guard(窗口 HWND/PID 变化拒绝操作)、前台校验(fail-closed)、Win 键黑名单。
  • 持久化后端:常驻 PowerShell 进程 + JSON 行协议,热态延迟 6–100ms,C# P/Invoke 助手按 hash 编译成缓存 DLL。

怎么使用这个插件?

在 DSH 中启用后,重启 dsh web,工具以 mcp__wincu__windows_computer_use_* 出现。对任意窗口,可用 snapshot 获取树和截图,用 find 定位控件,用 click/type_text 等执行动作。所有工具支持可选窗口定位(windowTitle 子串 / processId / nativeWindowHandle)+ activate: true;不指定则作用于当前前台窗口。敏感操作前建议先 snapshot,重要窗口用 windowTitle 明确限定。

本页是基于该插件官方 README 独立重写的导读——权威文档和最新变更请以源头为准:yu-tao-li/dsh-computer-use-win。插件是安装时就在你机器上运行的第三方代码;收录不代表背书——安装前请自行审阅源码。

安装、更新、卸载这个插件,都在 DeepSeek Harness 的 DSH Plugin Hub 插件市场完成
ChatGPTClaudeGrok / X / CursorGemini

DSH Plugin 常见问题