ChatGPTClaudeGrok / X / CursorGemini

DeepSeek Harness Linux 残留 dsh-subprocess scope:systemctl 风暴

故障排查发布于 2026-11-03作者: DeepSeek Plugin 插件市场
DeepSeek Harnesssystemd scopeTasksCurrentinotifysystemctlLinux
Linux 上长时间跑 dsh web 后出现大量 dsh-subprocess 残留 scope,数百个并发 systemctl 子进程,单核约 60%,inotify 也被耗尽。根因是结清条件错挂在 terminationRequested。本文给三条取证命令、确定性复现、清理脚本与真正的修法。

DeepSeek Harness(DSH)在 Linux 上长时间跑 dsh web、并驱动外部 agent team 之后,会出现一种很像「系统中毒」的现场:systemctl 里躺着 900 多个 dsh-subprocess-* 残留 unit,进程树里同时有约 500 个 systemctl 子进程,单核 60% 被耗在 child_process.spawn 里,堆内存也随句柄一起涨。 根因不是 systemd 本身,也不是你的内核有问题,而是 @deepseek-ai/dsh-subprocess-local 的 SystemdScopeOwner.emptyRange() 要求 terminationRequested 为真才结清作用域——这个标记只有 signal() / terminate() 才会置位,命令自己正常结束永远不会置位,于是 unit 永远 active 且 TasksCurrent=0,每 5 秒被 systemctl --user show 轮询一次(#11635)。

三条命令看清现场:unit 数、systemctl 并发、inotify 用量

关键判据是:残留 unit 数量大、TasksCurrent=0、systemctl --user show 子进程数量与之同量级,且清掉后 CPU 立刻回落。 三条取证命令:

  1. 数残留 scope unit。
bash
systemctl --user list-units --type=scope --state=active --plain --no-legend \
  | awk '{print $1}' | grep -E 'dsh-(subprocess|terminal)-'

预期:输出一长串 dsh-subprocess-*.scope,报告环境里超过 900 个。如果数量是个位数,不必往下走,这不是泄漏。 2. 数并发轮询的 systemctl 子进程。

bash
ps -eo pid,ppid,etimes,cmd | grep 'systemctl --user show' | grep -v grep | wc -l

预期:数量与残留 unit 同量级,峰值约 500。每个残留 owner 每 5 秒轮询一次,轮询间隔会翻倍到 SYSTEMCTL_TIMEOUT_MS,但不会停。 3. 看 inotify watch 是否被用尽。

bash
journalctl --user -b | grep 'inotify watch descriptor'

预期:命中类似 dsh-subprocess-leak1.scope: Failed to add control inotify watch descriptor ...: No space left on device 的行。systemd 只通过 cgroup 的 cgroup.events 上的 inotify watch 得知「scope 空了」,v255 在 watch 添加失败时只记日志、不做补偿,于是那个 scope 永远不会被回收。 4. 清掉一个残留 unit 再观察 CPU。 对任意 TasksCurrent=0 的 unit 执行 systemctl --user stop <unit>.scope,预期:下一次轮询发现 unit 已消失或 inactive,waitForExit() 结束、句柄从 live 集合释放,CPU 立即回落。报告者的原话是「clearing the stale units collapsed the storm instantly」。

机制:结清条件错挂在「被终止」上

一句话结论:emptyRange() 需要两个条件,第二个条件只在主动终止时成立,于是正常结束的命令永远进不了清理分支。 拆开看:

  1. 第一个条件是对的:作用域已空(TasksCurrent=0),且要么直接客户端已离开(它已经 fork 完所有会 fork 的进程),要么启动请求已被消费(payload 已进入 scope)。
  2. 第二个条件是错的:额外要求 terminationRequested。该字段只由 signal() / terminate() 设置,覆盖的是「kill / terminate」路径,正常完成与启动失败都不设置它。
  3. 于是清理路径永不进入:releaseEmptyRange 不会被调用,unit 保持 active,waitForExit() 的观察循环继续按 5 秒节奏轮询。
  4. 句柄也不会释放:只有 waitForExit() 结束,handle 才会离开 subprocess 服务的 live 集合;循环不停,内存就一直被持有。
  5. 提交背景:aaa02a3970 引入了 emptyRange / releaseEmptyRange,同时把它们挂在 terminationRequested 上。类自身的注释已经写明「已离开的客户端不能再添加 payload;已消费的请求证明 payload 进入过作用域」,终止信号与结清本来就是正交的两件事。

所以这不是「systemd 版本兼容问题」,而是上游把两个独立概念绑在了一起。

确定性复现:把 inotify watch 压到已用值

一句话结论:泄漏需要 systemd「漏掉」populated→empty 这次转变;把 watch 额度耗尽就能稳定制造这次漏掉。 步骤(systemd 255.4 / Ubuntu 24.04):

  1. 准备一个 1 秒后自退的 payload。 用 systemd-run --user --scope 起一个 scope,payload 只睡眠一秒然后退出。
  2. 把 fs.inotify.max_user_watches 压到 uid 1000 已经在用的数量。 预期:用户管理器在添加 control inotify watch 时报 No space left on device。
  3. 观察 payload 退出后的 unit 状态。
bash
systemctl --user show --property=LoadState --property=ActiveState --property=TasksCurrent dsh-subprocess-leak1.scope

预期:ActiveState=active、TasksCurrent=0,load 状态仍存在——正是报告里的形态。 4. 做一次无干扰对照。 恢复足够 watch 额度后重复第 1 步,预期:payload 一退出 scope 就被回收,LoadState=not-found。 这个复现的价值在于把「触发条件」从猜测变成可操作项:凡是日志里出现 Failed to add control inotify watch descriptor 的机器,都可能命中泄漏;没有这行的机器,即便 unit 数多,也要另找原因。

临时止血:只停 TasksCurrent=0 的残留 unit

一句话结论:遍历 active scope,只对空作用域执行 stop,活着的 scope 保持不动,不需要重启 DSH。 命令来自讨论,按行照抄:

bash
systemctl --user list-units --type=scope --state=active --plain --no-legend \
  'dsh-subprocess-*' 'dsh-terminal-*' | awk '{print $1}' | while read -r unit; do
  if [ "$(systemctl --user show --property=TasksCurrent --value "$unit")" = 0 ]; then
    systemctl --user stop "$unit"
  fi
done

逐段理解:

  1. 枚举目标是 active 的 scope,通配只匹配 dsh-subprocess-* 与 dsh-terminal-*,不碰系统其它 scope。
  2. TasksCurrent=0 是唯一安全阀:空作用域停掉没有副作用;还有任务在跑的 scope 一律跳过。
  3. 停止后循环自然收敛:下一次轮询发现 unit 消失或 inactive,waitForExit() 结束,句柄释放。
  4. 可挂到用户 timer 上每几分钟跑一次,把 unit 数量压住,代价是持续的小幅清理开销。
  5. 不要用 systemctl --user reset-failed 或重启 user manager 代替,前者不处理 active unit,后者会打断你正在跑的任务。

永久规避与真正的修法

一句话结论:用户侧能做的是调高 fs.inotify.max_user_watches 并定期清理;产品侧的正确修法是去掉 terminationRequested 这个门闩。 分两条:

用户侧:

  1. 先看当前用量与上限:cat /proc/sys/fs/inotify/max_user_watches 与统计已用 watch 的脚本对照,确认是不是真的接近上限。
  2. 调高上限并持久化,例如通过 sysctl 配置写入一个更大的值;预期:新产生的 scope 不再出现 watch 添加失败。
  3. 顺手找出「谁在占 watch」:如果占用者不是 DSH,调高上限只是把问题推迟,需要处理真正的占用方。 产品侧(讨论里给出的补丁):
  4. 删掉 emptyRange() 里的 terminationRequested 门闩。剩余谓词已经足以证明作用域结论性结束。
  5. 删掉这个只写不读的字段,避免它继续误导后续维护者。
  6. 补回归测试:新增「无终止请求、客户端完成后释放 active-empty scope」的用例;把旧用例改名为「客户端仍存活时继续等待 active-empty scope」,把等待不变量从「没有终止请求」纠正为「客户端存活」。
  7. 验证规模:subprocess-local 全量套件 382 通过、0 失败,覆盖 terminal scope、spawn 与 windows-job 套件。
  8. 修复状态:截至该讨论未修复;同一门闩在 0.2.1-rc.3 至 master ce7073d5 都存在。外部 PR 不被接受,需按贡献指南在 Discussions 反馈。

一个容易忽略的细节:正常命令其实「不该」命中

一句话结论:systemd-run --scope 正常执行时 payload 退出就是 populated→empty,systemd 会回收;泄漏的前提是这次转变被漏掉。 回复者明确纠正了「所有正常结束都会泄漏」的过度概括:

  1. 正常路径:systemd-run --scope 把自己放进 scope,bootstrap execve 执行 payload,payload 退出的那一刻就是 populated→empty,systemd 应当停止并回收 unit。
  2. 泄漏路径:systemd 漏掉了这次转变(典型原因是 inotify watch 添加失败),unit 才停在 active + TasksCurrent=0。
  3. 两条证据要分开看:journalctl 有 watch 失败行 → 触发条件成立;没有这一行但 unit 仍残留 → 另找原因,不要硬套。
  4. 补丁的安全性:启动中的命令还持有 request 文件与存活客户端,后台子进程会让 TasksCurrent 大于 0,所以去掉门闩不会误杀正在运行的作用域。

排查注意事项

这类「越跑越慢」的问题,排查原则是:先用系统级计数证明资源在积累,再回到代码里找结清条件。 六条要点:

  1. 先数 unit 与子进程,数量同量级就是轮询风暴,不是普通慢查询。
  2. TasksCurrent=0 是清理的安全前提,不要对还有任务的 scope 执行 stop。
  3. inotify 是触发器,不是根因:调高上限只能减少新增泄漏,清理旧 unit 仍要单独做。
  4. 不要重启宿主来「修」:停掉残留 unit 就够了,重启会打断正在跑的任务。
  5. 看版本要看到 master:该门闩在 rc.3、rc.5、alpha.2 与 master 都存在,换版本不解决。
  6. 区分 dsh-subprocess-* 与 dsh-terminal-*:两类都由 subprocess 服务管理,但终端作用域可能有用户正在交互的会话,清理时同样只按 TasksCurrent=0 判定。

来源:Discussion #11635,相关讨论 #9220。

ChatGPTClaudeGrok / X / CursorGemini

常见问题

DeepSeek Harness 在 Linux 残留 dsh-subprocess unit 占满 CPU,怎么查?

先数 DeepSeek Harness 残留的 unit 与 systemctl 子进程。执行 systemctl --user list-units --type=scope --state=active --plain 过滤 dsh-subprocess-*,再用 ps 统计 systemctl --user show 的并发数。两者数量同量级、且单核占用高,就基本可以确认是残留 scope 的轮询风暴。

为什么 DeepSeek Harness 的子进程 scope 在 TasksCurrent=0 时不会自动结束?

因为 DeepSeek Harness 的 emptyRange() 除了要求作用域为空,还额外要求 terminationRequested 为真,而这个标记只有 signal() 或 terminate() 才会置位。命令自己正常结束从不发终止请求,清理路径就永远不进入;systemd 只在 populated→empty 变化时回收 scope,漏掉这次变化后 unit 会一直保持 active。

systemd 255 上怎么确定性复现这个 scope 残留问题?

在 DeepSeek Harness 里可以这样确定性复现:把 fs.inotify.max_user_watches 压到 uid 1000 已经在用的值,再用 systemd-run --user --scope 跑一个 1 秒后自退的 payload。预期:用户管理器日志出现 Failed to add control inotify watch descriptor ... No space left on device,payload 退出后 unit 仍为 active running、TasksCurrent=0。

不想重启 DeepSeek Harness,只想把已经泄漏的 unit 清掉,有安全的做法吗?

有,DeepSeek Harness 残留的 unit 可以安全清掉。遍历 dsh-subprocess-* 与 dsh-terminal-* 的 active scope,只对 TasksCurrent=0 的执行 systemctl --user stop,活着的 scope 不动。停止后下一次轮询会发现 unit 已消失或 inactive,循环结束、句柄释放,CPU 立刻回落。

相关术语

systemd scope
systemd scope 是一种不预先定义启动命令的 unit 类型,systemd-run --scope 会把当前进程放进这个作用域并直接执行 payload。scope 只在 cgroup 由有进程变为空时被回收,因此漏掉这次状态变化会让 unit 长期保持 active。— https://github.com/deepseek-ai/deepseek-harness/discussions/11635
TasksCurrent
TasksCurrent 是 systemd 暴露的「当前 cgroup 内任务数」属性,可用 systemctl show --property=TasksCurrent --value 读取。它为 0 且 unit 仍 active,通常意味着这个 scope 已经空了但没有被 systemd 回收。— https://github.com/deepseek-ai/deepseek-harness/discussions/11635
terminationRequested
terminationRequested 是 DeepSeek Harness 子进程作用域内部的一个标志位,只由 signal() / terminate() 设置,用于表示调用方主动要求终止。把它当成 scope 结清的必要条件,会让所有正常结束的命令都走不到清理路径。— https://github.com/deepseek-ai/deepseek-harness/discussions/11635

来源