dsh-see-now：让 DeepSeek Harness 实时看见屏幕的视觉插件

它是做什么的？

See Now 是 DeepSeek Harness（DSH）的实时视觉插件，把屏幕、摄像头或视频文件变成一串按变化量筛选过的画面，再拼进同一张图交给模型。它解决的是「定时截全屏喂给 AI」导致重复画面烧穿 token、或截得太稀漏掉关键动作的两难。插件先给每帧打一个 0–255 的变化分，只留下画面突然切换或持续运动攒够量的帧，静止屏幕几乎不出图。留下来的几帧拼成一张图，一张图的固定成本摊到 48 帧上，同样一段 30 秒操作常常只要 23 张图。

核心功能

• 变化量筛选：每帧在 64×36 网格上按 HSV 三通道加权差算出 0–255 的变化分，约 0.2ms，只有切点或积分攒够的帧才被保留。
• 多帧拼图：留下的帧按真实像素位置拼进同一张图，一张图塞 4 帧还是 8 帧价格一样，多留一帧几乎免费。
• 三档节奏：calm / normal / dense 分别对应 20 分、12 分、7 分的换画面门槛与 30 秒、15 秒、8 秒的兜底唤醒间隔，可按场景切换。
• 逐场景模式：开启后每换一次画面单独出一张满幅图并叫醒模型一次，适合「每翻一页说一句这是什么」的播报场景。
• 多采集源：支持屏幕、摄像头与视频文件回放，也可脱离 DSH 作为普通 Node 库单独调用采集与拼图模块。
• 悬浮窗播报：只有 say 参数会进悬浮窗并被念出来，普通回复用户看不到。

怎么使用这个插件？

在 DSH 中启用后，让模型调用 see_now 并传入 action: "watch"，它会阻塞到攒够一张图再把图交回来；第一次调用约 1 秒返回当前屏幕，之后每次返回这段时间里发生的事。需要调整时用 quality 切换 low / standard / high / ultra 画质，用 pace 控制节奏，觉得太吵就说「慢一点 / 省点钱」，模型会切到 calm；觉得漏帧就说「不灵敏」，它会切到 dense。想让它边看边说，加上 say 参数即可，这是唯一能进悬浮窗、能被念出来的通道。该插件由 SAOS-3624 维护，个人与学习用途免费，商业用途需另行取得书面授权。

报错怎么排查？

插件装好后若模型看不到画面，先确认是否已重启 DSH，采集模块需要重启后才生效。若采集始终拿不到帧，检查 quality 改动是否触发了约 0.6 秒的采集重启，稍等片刻再取图。若返回的图帧数过少，可调低 minFrames 门槛或改用 dense 节奏；若画面格子缩到 1/4、1/9 并出现灰条，说明场景过密，应开启逐场景模式让单帧铺满。