切换主题
理解渠道、模型与令牌
一次成功调用需要同时具备:有效的网关令牌、允许访问的模型、匹配的分组、可用渠道,以及能够完成预扣的余额或订阅权益。
一条请求怎样经过网关
text
应用 + 网关令牌
→ 令牌鉴权与访问限制
→ 根据模型、分组选择渠道
→ 通过服务商凭据调用上游
→ 返回响应,记录用量并结算1
2
3
4
5
2
3
4
5
六个常用名词
| 名词 | 你可以怎样理解 | 常见误区 |
|---|---|---|
| 渠道 | 一条上游连接:类型、地址、凭据、模型和分组 | 添加了服务商,就自动拥有其所有模型权限 |
| 模型 | 客户端请求中的 model,也是路由匹配的重要条件 | 随意起名即可使用,无需映射与定价 |
| 分组 | 将用户和上游能力连接起来的访问与定价维度 | 用户分组、令牌选择和渠道分组总会自动一致 |
| API 令牌 | 发给应用使用的网关密钥 | 可以直接用上游密钥代替 |
| 模型映射 | 将客户端名称翻译为上游模型名 | 映射值是客户端应该填写的名字 |
| 额度与订阅 | 用户可用于请求预扣和结算的权益 | 令牌设置无限额度就代表用户也有无限余额 |
三种凭据分别放在哪里
- 服务商密钥:保存在渠道连接配置中,用于网关访问上游。
- 网关 API 令牌:配置到应用或服务端,用于访问模型转发接口。
- 管理凭据:面板 Access Token 或允许使用的 PAT,用于后台管理 API,权限与模型令牌不同。
不要把管理凭据放入聊天客户端,也不要把服务商密钥写进网页脚本。
用一个例子串起来
管理员创建一个支持 your-enabled-model 的渠道,并将它分配到 default 分组。用户获得相应分组权限和可用额度,再创建允许调用该模型的令牌。应用请求 /v1/chat/completions,传入这个模型名和网关令牌。
如果管理员增加别名 team-chat,需要使该名字可以被路由,并建立 team-chat 到真实模型名的映射;同时核对别名的访问限制和定价。仅增加映射 JSON,不代表价格与权限也已配置完毕。