rapid-mlx-dsh-provider:让 DeepSeek Harness 自动同步本地 Rapid-MLX 模型信息的 DSH plugin

raullenchai/rapid-mlx-dsh-provider

模型与推理已验证
收录时间 2026-08-20
页面最后更新 2026-08-20

为 DeepSeek Harness 提供原生 Rapid-MLX 模型提供商,自动读取服务器模型信息,免手动配置。

这个 DSH plugin 让 DeepSeek Harness 直接从 Rapid-MLX 服务器读取模型上下文窗口、推理能力等事实,免去在 settings.yaml 中手工维护,切换模型时无需改配置。

install
dsh plugin --profile web add github:raullenchai/rapid-mlx-dsh-provider
分类
模型与推理
平台
DSH-Plugin
作者
raullenchai
分发方式
插件

rapid-mlx-dsh-provider 核心特性

自动获取模型信息真实推理能力控制精准上下文压缩零手动配置

rapid-mlx-dsh-provider 仓库信息

raullenchai
发布者
raullenchai
仓库
raullenchai/rapid-mlx-dsh-provider
20
Star
19
Fork
19
Watch
0
开放 Issue
语言JavaScript
许可证Apache License 2.0
官网
仓库最近更新2026-08-20 03:34:33
仓库创建时间2026-08-18 02:28:32
主题
apple-siliconcoding-agentdeepseek-harnessdshdsh-pluginllmlocal-llmmlxopenai-apirapid-mlx
默认分支main

rapid-mlx-dsh-provider 仓库简介

rapid-mlx-dsh-provider 是 DeepSeek Harness(DSH)的原生 Rapid-MLX 插件(DSH plugin),由 raullenchai 维护,采用 Apache-2.0 协议,最近更新于 2026-08。它解决的核心问题是:当 DSH 通过通用的 openai-completions 路由连接本地 Rapid-MLX 服务器时,模型信息(如上下文窗口、推理能力)需要你在 settings.yaml 里手工维护,一旦模型切换或参数漂移,就会导致压缩时机错误或推理选项失效。这个插件直接从 Rapid-MLX 的 /v1/models 端点读取模型事实,让 dsh 始终跟随服务器真实状态,无需手工填写或重跑配置。

rapid-mlx-dsh-provider 这个 DSH plugin 的核心能力有哪些?

插件自动同步模型元数据,切换模型时无需修改配置;根据服务器报告的推理解析器,只对真正支持推理的模型显示 off/low/medium/high 选项;压缩时机基于模型真实上下文窗口计算(默认 thresholdRatio 0.8),避免因手写数值过期导致过早或过晚压缩。此外,插件还读取 recommended_sampling、tool_call_parser、is_hybrid 等字段,但尚未全部生效——当前版本是工作骨架,未发布到 npm,已在 dsh 0.1.0-rc.7 上端到端验证。

rapid-mlx-dsh-provider 怎么安装和配置?

需要 Node ≥ 22.15(dsh 依赖 Node 的 Zstd 流 API)和运行中的 Rapid-MLX 服务器。安装命令如下:

bash
dsh plugin --profile web add github:raullenchai/rapid-mlx-dsh-provider
export RAPID_MLX_BASE_URL=http://localhost:8000/v1     # 可选,默认值
dsh web

然后在 settings.yaml 中指定模型路由:

yaml
agent-default-model:
  provider: rapid-mlx
  model: qwen3.6-35b-8bit

rapid-mlx-dsh-provider 的验证情况和已知限制是什么?

在 M3 Ultra 上针对 dsh 0.1.0-rc.7 验证通过:能作为 profile layer 激活,注册 rapid-mlx 路由,支持普通对话、单次工具调用和多步 bug 修复任务(在 qwen3.6-35b-8bit 上 36 秒内完成)。尚未实现的功能包括:自动应用 recommended_sampling、对无法输出 tool_calls 的模型快速失败、以及基于内存感知的容量计算。

rapid-mlx-dsh-provider 兼容哪些 DeepSeek Harness 版本和平台?

插件面向 Apple Silicon(MLX 生态),依赖 dsh 0.1.0-rc.7 及 Node ≥ 22.15,仓库状态为工作骨架,未承诺跨版本兼容。

查看更多 DSH 插件,访问 dsh-plugin.org

DSH-Plugin 常见问题