dsh-eval-harness：DeepSeek Harness 的回归评测门禁插件

它是做什么的？

dsh-eval-harness 是 DeepSeek Harness（DSH）的回归评测插件，为 DSH 插件和技能作者提供可进入 CI 的门禁工具。它解决插件更新后行为回退难以发现的问题，通过 YAML 用例驱动真实 agent 运行，解析会话轨迹并对比基线，输出 PASS/WARN/FAIL 报告与退出码。核心能力包括用例驱动的评测运行、基线对比门禁以及 LLM 语义评审校准。

核心功能

• eval_run：逐条运行 YAML 用例，headless 驱动真实 agent，解析 session trace 并执行断言，生成 report.json 和 report.md。
• eval_gate：将本次报告与基线对比，输出 OVERALL=PASS|WARN|FAIL|N/A 及退出码，支持 strict 模式收紧 WARN 判定。
• eval_judge_validate：在人工标注集上校准 LLM judge，输出混淆矩阵与 TPR/TNR，双指标达标才算校准完成。
• 丰富的断言类型：支持 turn_end、tools_called、output_contains、max_steps、max_tokens、no_tool_errors、tools_exact、output_judge 等结构性与语义断言。
• LLM-as-judge：通过 OpenAI 兼容接口进行语义评审，结构断言全过后才调用，judge 失败按 error 处理而非 fail。
• 零依赖 YAML 子集解析器：内置解析器支持常见 YAML 语法，解析失败报带行号的错误。

怎么使用这个插件？

在 DSH 中启用后，编写 YAML 用例文件（如 cases/*.yml），每条用例包含 name、prompt、assert 等字段。调用 eval_run 工具指定用例目录和输出目录，它会 headless 运行真实 agent 并生成报告。接着调用 eval_gate 对比基线报告，根据输出结果决定是否通过 CI。若需调整，可修改用例中的断言或参数，如 retries、trials、tags 等。