开始
接自己的模型(heng)
用内置的 heng 配置档连本机的 heng serve:跑自己训练的模型,或用 proxy 配置把请求转发到 Claude。两个终端,一个起模型服务,一个在项目里用 heng-agent。
- 预计用时
- 约 10 分钟
- 适用版本
- v0.5.0 及以上
- 需要准备
- heng 模型仓库(能运行 heng serve)
heng 是 heng-agent 内置的配置档,指向本机的 heng serve(http://127.0.0.1:8765,Anthropic 协议),密钥环境变量是 HENG_AGENT_API_KEY。下面两个终端各跑一边。
终端 1:启动模型服务
在 heng 模型仓库的目录里启动 heng serve,二选一:
# 自己训练的模型
.venv/Scripts/heng.exe serve configs/serve/heng-mini.yaml
# 或者:把请求转发到 Claude(需要先设 HENG_UPSTREAM_API_KEY)
.venv/Scripts/heng.exe serve configs/serve/proxy-claude.yaml这个终端保持开着,服务停了 heng-agent 就连不上。
终端 2:在项目里用 heng 配置档
进到项目目录,指定 heng 配置档和模型名:
终端
$ heng-agent --provider heng --model heng-mini-0.1 欢迎页「模型」一行应显示 heng · heng-mini-0.1,后面跟着地址与协议 http://127.0.0.1:8765(anthropic)。
设成默认(可选)
经常用就写进 ~/.heng-agent/config.json,以后直接敲 heng-agent:
{
"default": "heng",
"profiles": {
"heng": { "preset": "heng", "model": "heng-mini-0.1" }
}
} 做完是这样
发一句话有回复。连不上时先看终端 1 的服务还在不在;/doctor 会真的连一次服务商并说明是地址、密钥还是网络的问题。