DeepSeek Harness Linux 残留 dsh-subprocess scope:systemctl 风暴
DeepSeek Harness(DSH)在 Linux 上长时间跑 dsh web、并驱动外部 agent team 之后,会出现一种很像「系统中毒」的现场:systemctl 里躺着 900 多个 dsh-subprocess-* 残留 unit,进程树里同时有约 500 个 systemctl 子进程,单核 60% 被耗在 child_process.spawn 里,堆内存也随句柄一起涨。 根因不是 systemd 本身,也不是你的内核有问题,而是 @deepseek-ai/dsh-subprocess-local 的 SystemdScopeOwner.emptyRange() 要求 terminationRequested 为真才结清作用域——这个标记只有 signal() / terminate() 才会置位,命令自己正常结束永远不会置位,于是 unit 永远 active 且 TasksCurrent=0,每 5 秒被 systemctl --user show 轮询一次(#11635)。
三条命令看清现场:unit 数、systemctl 并发、inotify 用量
关键判据是:残留 unit 数量大、TasksCurrent=0、systemctl --user show 子进程数量与之同量级,且清掉后 CPU 立刻回落。 三条取证命令:
- 数残留 scope unit。
systemctl --user list-units --type=scope --state=active --plain --no-legend \
| awk '{print $1}' | grep -E 'dsh-(subprocess|terminal)-'
预期:输出一长串 dsh-subprocess-*.scope,报告环境里超过 900 个。如果数量是个位数,不必往下走,这不是泄漏。
2. 数并发轮询的 systemctl 子进程。
ps -eo pid,ppid,etimes,cmd | grep 'systemctl --user show' | grep -v grep | wc -l
预期:数量与残留 unit 同量级,峰值约 500。每个残留 owner 每 5 秒轮询一次,轮询间隔会翻倍到 SYSTEMCTL_TIMEOUT_MS,但不会停。
3. 看 inotify watch 是否被用尽。
journalctl --user -b | grep 'inotify watch descriptor'
预期:命中类似 dsh-subprocess-leak1.scope: Failed to add control inotify watch descriptor ...: No space left on device 的行。systemd 只通过 cgroup 的 cgroup.events 上的 inotify watch 得知「scope 空了」,v255 在 watch 添加失败时只记日志、不做补偿,于是那个 scope 永远不会被回收。
4. 清掉一个残留 unit 再观察 CPU。 对任意 TasksCurrent=0 的 unit 执行 systemctl --user stop <unit>.scope,预期:下一次轮询发现 unit 已消失或 inactive,waitForExit() 结束、句柄从 live 集合释放,CPU 立即回落。报告者的原话是「clearing the stale units collapsed the storm instantly」。
机制:结清条件错挂在「被终止」上
一句话结论:emptyRange() 需要两个条件,第二个条件只在主动终止时成立,于是正常结束的命令永远进不了清理分支。 拆开看:
- 第一个条件是对的:作用域已空(
TasksCurrent=0),且要么直接客户端已离开(它已经 fork 完所有会 fork 的进程),要么启动请求已被消费(payload 已进入 scope)。 - 第二个条件是错的:额外要求
terminationRequested。该字段只由signal()/terminate()设置,覆盖的是「kill / terminate」路径,正常完成与启动失败都不设置它。 - 于是清理路径永不进入:
releaseEmptyRange不会被调用,unit 保持active,waitForExit()的观察循环继续按 5 秒节奏轮询。 - 句柄也不会释放:只有
waitForExit()结束,handle 才会离开 subprocess 服务的live集合;循环不停,内存就一直被持有。 - 提交背景:
aaa02a3970引入了emptyRange/releaseEmptyRange,同时把它们挂在terminationRequested上。类自身的注释已经写明「已离开的客户端不能再添加 payload;已消费的请求证明 payload 进入过作用域」,终止信号与结清本来就是正交的两件事。
所以这不是「systemd 版本兼容问题」,而是上游把两个独立概念绑在了一起。
确定性复现:把 inotify watch 压到已用值
一句话结论:泄漏需要 systemd「漏掉」populated→empty 这次转变;把 watch 额度耗尽就能稳定制造这次漏掉。 步骤(systemd 255.4 / Ubuntu 24.04):
- 准备一个 1 秒后自退的 payload。 用
systemd-run --user --scope起一个 scope,payload 只睡眠一秒然后退出。 - 把
fs.inotify.max_user_watches压到 uid 1000 已经在用的数量。 预期:用户管理器在添加 control inotify watch 时报No space left on device。 - 观察 payload 退出后的 unit 状态。
systemctl --user show --property=LoadState --property=ActiveState --property=TasksCurrent dsh-subprocess-leak1.scope
预期:ActiveState=active、TasksCurrent=0,load 状态仍存在——正是报告里的形态。
4. 做一次无干扰对照。 恢复足够 watch 额度后重复第 1 步,预期:payload 一退出 scope 就被回收,LoadState=not-found。
这个复现的价值在于把「触发条件」从猜测变成可操作项:凡是日志里出现 Failed to add control inotify watch descriptor 的机器,都可能命中泄漏;没有这行的机器,即便 unit 数多,也要另找原因。
临时止血:只停 TasksCurrent=0 的残留 unit
一句话结论:遍历 active scope,只对空作用域执行 stop,活着的 scope 保持不动,不需要重启 DSH。 命令来自讨论,按行照抄:
systemctl --user list-units --type=scope --state=active --plain --no-legend \
'dsh-subprocess-*' 'dsh-terminal-*' | awk '{print $1}' | while read -r unit; do
if [ "$(systemctl --user show --property=TasksCurrent --value "$unit")" = 0 ]; then
systemctl --user stop "$unit"
fi
done
逐段理解:
- 枚举目标是 active 的 scope,通配只匹配
dsh-subprocess-*与dsh-terminal-*,不碰系统其它 scope。 TasksCurrent=0是唯一安全阀:空作用域停掉没有副作用;还有任务在跑的 scope 一律跳过。- 停止后循环自然收敛:下一次轮询发现 unit 消失或
inactive,waitForExit()结束,句柄释放。 - 可挂到用户 timer 上每几分钟跑一次,把 unit 数量压住,代价是持续的小幅清理开销。
- 不要用
systemctl --user reset-failed或重启 user manager 代替,前者不处理 active unit,后者会打断你正在跑的任务。
永久规避与真正的修法
一句话结论:用户侧能做的是调高 fs.inotify.max_user_watches 并定期清理;产品侧的正确修法是去掉 terminationRequested 这个门闩。 分两条:
用户侧:
- 先看当前用量与上限:
cat /proc/sys/fs/inotify/max_user_watches与统计已用 watch 的脚本对照,确认是不是真的接近上限。 - 调高上限并持久化,例如通过 sysctl 配置写入一个更大的值;预期:新产生的 scope 不再出现 watch 添加失败。
- 顺手找出「谁在占 watch」:如果占用者不是 DSH,调高上限只是把问题推迟,需要处理真正的占用方。 产品侧(讨论里给出的补丁):
- 删掉
emptyRange()里的terminationRequested门闩。剩余谓词已经足以证明作用域结论性结束。 - 删掉这个只写不读的字段,避免它继续误导后续维护者。
- 补回归测试:新增「无终止请求、客户端完成后释放 active-empty scope」的用例;把旧用例改名为「客户端仍存活时继续等待 active-empty scope」,把等待不变量从「没有终止请求」纠正为「客户端存活」。
- 验证规模:
subprocess-local全量套件 382 通过、0 失败,覆盖 terminal scope、spawn 与 windows-job 套件。 - 修复状态:截至该讨论未修复;同一门闩在
0.2.1-rc.3至 masterce7073d5都存在。外部 PR 不被接受,需按贡献指南在 Discussions 反馈。
一个容易忽略的细节:正常命令其实「不该」命中
一句话结论:systemd-run --scope 正常执行时 payload 退出就是 populated→empty,systemd 会回收;泄漏的前提是这次转变被漏掉。 回复者明确纠正了「所有正常结束都会泄漏」的过度概括:
- 正常路径:
systemd-run --scope把自己放进 scope,bootstrapexecve执行 payload,payload 退出的那一刻就是 populated→empty,systemd 应当停止并回收 unit。 - 泄漏路径:systemd 漏掉了这次转变(典型原因是 inotify watch 添加失败),unit 才停在
active+TasksCurrent=0。 - 两条证据要分开看:
journalctl有 watch 失败行 → 触发条件成立;没有这一行但 unit 仍残留 → 另找原因,不要硬套。 - 补丁的安全性:启动中的命令还持有 request 文件与存活客户端,后台子进程会让
TasksCurrent大于 0,所以去掉门闩不会误杀正在运行的作用域。
排查注意事项
这类「越跑越慢」的问题,排查原则是:先用系统级计数证明资源在积累,再回到代码里找结清条件。 六条要点:
- 先数 unit 与子进程,数量同量级就是轮询风暴,不是普通慢查询。
TasksCurrent=0是清理的安全前提,不要对还有任务的 scope 执行stop。- inotify 是触发器,不是根因:调高上限只能减少新增泄漏,清理旧 unit 仍要单独做。
- 不要重启宿主来「修」:停掉残留 unit 就够了,重启会打断正在跑的任务。
- 看版本要看到 master:该门闩在 rc.3、rc.5、alpha.2 与 master 都存在,换版本不解决。
- 区分
dsh-subprocess-*与dsh-terminal-*:两类都由 subprocess 服务管理,但终端作用域可能有用户正在交互的会话,清理时同样只按TasksCurrent=0判定。
来源:Discussion #11635,相关讨论 #9220。
常见问题
先数 DeepSeek Harness 残留的 unit 与 systemctl 子进程。执行 systemctl --user list-units --type=scope --state=active --plain 过滤 dsh-subprocess-*,再用 ps 统计 systemctl --user show 的并发数。两者数量同量级、且单核占用高,就基本可以确认是残留 scope 的轮询风暴。
因为 DeepSeek Harness 的 emptyRange() 除了要求作用域为空,还额外要求 terminationRequested 为真,而这个标记只有 signal() 或 terminate() 才会置位。命令自己正常结束从不发终止请求,清理路径就永远不进入;systemd 只在 populated→empty 变化时回收 scope,漏掉这次变化后 unit 会一直保持 active。
在 DeepSeek Harness 里可以这样确定性复现:把 fs.inotify.max_user_watches 压到 uid 1000 已经在用的值,再用 systemd-run --user --scope 跑一个 1 秒后自退的 payload。预期:用户管理器日志出现 Failed to add control inotify watch descriptor ... No space left on device,payload 退出后 unit 仍为 active running、TasksCurrent=0。
有,DeepSeek Harness 残留的 unit 可以安全清掉。遍历 dsh-subprocess-* 与 dsh-terminal-* 的 active scope,只对 TasksCurrent=0 的执行 systemctl --user stop,活着的 scope 不动。停止后下一次轮询会发现 unit 已消失或 inactive,循环结束、句柄释放,CPU 立刻回落。
相关术语
- systemd scope
- systemd scope 是一种不预先定义启动命令的 unit 类型,systemd-run --scope 会把当前进程放进这个作用域并直接执行 payload。scope 只在 cgroup 由有进程变为空时被回收,因此漏掉这次状态变化会让 unit 长期保持 active。— https://github.com/deepseek-ai/deepseek-harness/discussions/11635
- TasksCurrent
- TasksCurrent 是 systemd 暴露的「当前 cgroup 内任务数」属性,可用 systemctl show --property=TasksCurrent --value 读取。它为 0 且 unit 仍 active,通常意味着这个 scope 已经空了但没有被 systemd 回收。— https://github.com/deepseek-ai/deepseek-harness/discussions/11635
- terminationRequested
- terminationRequested 是 DeepSeek Harness 子进程作用域内部的一个标志位,只由 signal() / terminate() 设置,用于表示调用方主动要求终止。把它当成 scope 结清的必要条件,会让所有正常结束的命令都走不到清理路径。— https://github.com/deepseek-ai/deepseek-harness/discussions/11635
来源
- #11635 — bug(subprocess-local): an active-empty Linux scope unit is never released without a termination request· deepseek-ai(GitHub Discussions)