dsh-computer-use-win:DeepSeek Harness 的 Windows 电脑操控插件
yu-tao-li/dsh-computer-use-win
为 DeepSeek Harness 提供 Windows 桌面操控能力,基于 MCP 与 UIA 的 22 个工具,让 agent 能看能点真实应用。
dsh-computer-use-win 是 DeepSeek Harness 的 Windows 电脑操控插件,通过 MCP stdio 服务器和 PowerShell/UIA 桌面引擎,让 agent 能看(UIA 无障碍树、窗口截图、OCR)也能做(鼠标、键盘、UIA 语义动作、窗口管理)真实的 Windows 桌面应用。它解决 agent 无法直接操作桌面 GUI 的问题,提供 22 个工具,零运行时依赖,不改 DSH 本体。内置坐标 homing、急停 failsafe、identity guard 等安全机制,确保操作可控。由 Yu-tao-Li 维护,采用 MIT 协议,最近更新于 2026-08。
如何安装
dsh plugin --profile <your-profile> add dsh-computer-use-win--profile 换成你本机实际使用的 profile 名(ls ~/.dsh/profiles/ 可查看目录名):浏览器版通常是 web,桌面版通常是 desktop 或 desktop-NNN。
- 分类
- 工具与能力
- 平台
- DSH Plugin
- 作者
- yu-tao-li
- 分发方式
- 插件
dsh-computer-use-win 核心特性
dsh-computer-use-win 仓库简介
它是做什么的?
dsh-computer-use-win 是 DeepSeek Harness(DSH)的 Windows 电脑操控插件,通过 MCP stdio 服务器和 PowerShell/UIA 桌面引擎,让 agent 能看(UIA 无障碍树、窗口截图、OCR)也能做(鼠标、键盘、UIA 语义动作、窗口管理)真实的 Windows 桌面应用。它解决 agent 无法直接操作桌面 GUI 的问题,提供 22 个工具,零运行时依赖,不改 DSH 本体。由 Yu-tao-Li 维护,采用 MIT 协议,最近更新于 2026-08。
核心功能
- 文本优先的观察:UIA 无障碍树三视图(control/content/raw),按 name/automationId/类名/值找控件,元素 id 用 UIA RuntimeId,UI 刷新后仍稳定。
- 三级截图链:PrintWindow(非前台窗口也能抓)→ WGC(Windows.Graphics.Capture)→ 屏幕区域兜底,带 occludedPossible 标记,PNG 30 分钟自动清理。
- 三条输入路径:语义(UIA pattern)、前台(SetCursorPos + SendInput + 剪贴板)、后台(PostMessage 直进窗口消息队列,投递未验证时如实上报 verified:false)。
- UIA 盲区 OCR 回退:Windows.Media.Ocr 返回文字和逐词坐标词框,query 命中后自动回查匹配词下的控件。
- 内置安全机制:坐标 homing(窗口移动自动补偿)、急停 failsafe(鼠标停角落 500ms 拒绝输入)、identity guard(窗口 HWND/PID 变化拒绝操作)、前台校验(fail-closed)、Win 键黑名单。
- 持久化后端:常驻 PowerShell 进程 + JSON 行协议,热态延迟 6–100ms,C# P/Invoke 助手按 hash 编译成缓存 DLL。
怎么使用这个插件?
在 DSH 中启用后,重启 dsh web,工具以 mcp__wincu__windows_computer_use_* 出现。对任意窗口,可用 snapshot 获取树和截图,用 find 定位控件,用 click/type_text 等执行动作。所有工具支持可选窗口定位(windowTitle 子串 / processId / nativeWindowHandle)+ activate: true;不指定则作用于当前前台窗口。敏感操作前建议先 snapshot,重要窗口用 windowTitle 明确限定。
本页是基于该插件官方 README 独立重写的导读——权威文档和最新变更请以源头为准:yu-tao-li/dsh-computer-use-win。插件是安装时就在你机器上运行的第三方代码;收录不代表背书——安装前请自行审阅源码。
DSH Plugin 常见问题
