跳到正文
heng-agent v0.5.0
Esc
使用指南目录

开始

接自己的模型(heng)

用内置的 heng 配置档连本机的 heng serve:跑自己训练的模型,或用 proxy 配置把请求转发到 Claude。两个终端,一个起模型服务,一个在项目里用 heng-agent。

预计用时
约 10 分钟
适用版本
v0.5.0 及以上
需要准备
heng 模型仓库(能运行 heng serve)

heng 是 heng-agent 内置的配置档,指向本机的 heng serve(http://127.0.0.1:8765,Anthropic 协议),密钥环境变量是 HENG_AGENT_API_KEY。下面两个终端各跑一边。

终端 1:启动模型服务

在 heng 模型仓库的目录里启动 heng serve,二选一:

# 自己训练的模型
.venv/Scripts/heng.exe serve configs/serve/heng-mini.yaml

# 或者:把请求转发到 Claude(需要先设 HENG_UPSTREAM_API_KEY)
.venv/Scripts/heng.exe serve configs/serve/proxy-claude.yaml

这个终端保持开着,服务停了 heng-agent 就连不上。

终端 2:在项目里用 heng 配置档

进到项目目录,指定 heng 配置档和模型名:

终端
$ heng-agent --provider heng --model heng-mini-0.1

欢迎页「模型」一行应显示 heng · heng-mini-0.1,后面跟着地址与协议 http://127.0.0.1:8765(anthropic)。

设成默认(可选)

经常用就写进 ~/.heng-agent/config.json,以后直接敲 heng-agent:

{
  "default": "heng",
  "profiles": {
    "heng": { "preset": "heng", "model": "heng-mini-0.1" }
  }
}

做完是这样

发一句话有回复。连不上时先看终端 1 的服务还在不在;/doctor 会真的连一次服务商并说明是地址、密钥还是网络的问题。

最后更新: