oh-my-knowledge：DeepSeek Harness 的评估与可观测性 DSH plugin
lizhiyao/oh-my-knowledge
OMK 为 DeepSeek Harness 提供基于证据的提示词、RAG、技能与 Agent 评估，支持 A/B 对比、可观测性与版本发布决策。
oh-my-knowledge 是专为 DeepSeek Harness 打造的评估与可观测性 DSH plugin，让每一次知识变更都有据可依。它通过受控 A/B 评估对比同一模型下不同知识工件的表现，输出一行结论、置信区间与失败样本；还能在 Studio 中可视化任务轨迹，并用证据门控的晋升机制决定版本是否可发布。从真实使用中采集缺口、转化为评估样本，让评估持续贴近生产。适合需要严谨验证提示词、RAG、技能与智能体效果的开发者。
如何安装
dsh plugin --profile web add oh-my-knowledge- 分类
- 数据与知识
- 平台
- DSH Plugin
- 作者
- lizhiyao
- 分发方式
- 插件
oh-my-knowledge 核心特性
oh-my-knowledge 仓库简介
它是做什么的？
OMK 是 DeepSeek Harness（DSH）的评估与可观测性插件，为提示词、RAG、技能、智能体和流程提供基于证据的评估。它解决 AI 应用中知识变更难以验证的问题，让你能观察真实性能、对比版本差异，并判断变更是否有效、版本是否可发布。核心能力包括受控 A/B 评估、任务轨迹追踪、证据门控的版本晋升，以及从真实使用中提炼评估样本。
核心功能
- 受控 A/B 评估：同一模型、同一评估样本，仅变更知识工件，输出一行结论、置信区间、失败样本和成本。
- 任务轨迹可视化：在 Studio 中打开持久化的 DSH 任务轨迹，四车道视图展示请求、动作、结果和知识。
- 证据门控晋升：通过
omk promote/omk evolve基于证据决定是否接受版本或生成更优候选。 - 从真实使用中学习：
omk observe采集生产环境缺口，经审核后转化为评估样本。 - 预检与诊断：
omk doctor检查工件结构、依赖、安全性和可测量性。
怎么使用这个插件？
在 DSH 中启用 OMK 后，可复用当前 profile 进行受控评估。快速开始：运行 omk init demo 搭建演示项目，然后执行 omk eval --control code-review-v1 --treatment code-review-v2 --dry-run 预览调用与成本，再正式运行 omk eval 生成 HTML 报告。若只想查看单个 Codex 任务，直接运行 omk studio 打开本地对话概览。首次运行仅 3 个样本，结论通常为 UNDERPOWERED，属正常现象，建议积累至 20+ 样本后再做发布决策。
本页是基于该插件官方 README 独立重写的导读——权威文档和最新变更请以源头为准：lizhiyao/oh-my-knowledge。插件是安装时就在你机器上运行的第三方代码；收录不代表背书——安装前请自行审阅源码。