dsh-benchmark：为 DeepSeek Harness 提供确定性基准测试证据的 DSH plugin

它是做什么的？

dsh-benchmark 是 DeepSeek Harness（DSH）的基准测试插件，为 DSH 工具和插件提供确定性、可复现的基准测试证据。它解决基准测试结果不可复现、难以比较的问题，通过固定用例、版本化评分和内容寻址报告，让你在 DSH 中直接运行基准测试并生成可对比的回归证据。该插件专注于执行层证据，不评估主观的 LLM 质量，由 dongsheng123132 维护，采用 MIT 协议。

核心功能

• 确定性证据协议：通过显式清单冻结套件名称、目标修订、文件指纹、可执行文件、参数、预期退出码和输出哈希，确保每次运行可复现。
• 安全执行模型：禁用 shell 插值，限制工作目录和路径遍历，子进程使用最小化环境，拒绝包含密钥的清单字段，报告仅包含哈希和测量值。
• 内容寻址报告：每次运行生成内容寻址的报告，通过 SHA-256 校验，支持与基线报告进行回归比较。
• 三个注册工具：提供 inspect（检查元数据和指纹）、run（运行固定用例并生成报告）、compare（比较当前与基线报告）三个 DSH 工具。
• 独立 MCP 服务器：作为独立的 stdio MCP 服务器，提供 manifest 校验和报告地址计算，不执行命令、不读写文件系统。

怎么使用这个插件？

在 DSH 中启用后，你可以使用注册的三个工具：先用 inspect 检查协议元数据和指纹，再用 run 运行固定用例并生成内容寻址报告，最后用 compare 比较当前与基线报告，依据清单中的阈值判断是否回归。此外，插件还提供 CLI 命令和 MCP 接口，CLI 支持 inspect 等子命令，MCP 则通过 JSON 输入进行校验和地址计算，实际基准执行仅通过 DSH 工具和 CLI 进行。