切换主题
模型映射与路由
模型映射用于统一客户端看到的名称;优先级与权重用于在多个可用渠道间分配流量。先确认分组和模型可匹配,再调整分配策略。
建立模型别名
例如希望应用始终调用 team-chat,而某个上游使用 provider-model-name:
json
{
"team-chat": "provider-model-name"
}1
2
3
2
3
左侧是客户端请求名,右侧是发给上游的模型名。把 team-chat 纳入该渠道可路由的模型列表,并核对用户可用模型、令牌限制与定价配置。
映射只改变名称,不会授予上游模型权限,也不会使不支持图片的模型获得视觉能力。不同渠道可以把同一个别名映射到各自的上游模型,但它们的响应能力、上下文长度和工具行为应分别测试。
优先级与权重的区别
- 优先级:决定先尝试哪一层渠道,数值较高的渠道优先参与选择。
- 权重:在同一优先级内影响选择概率,不是严格的逐请求流量配额。
示例:主渠道优先级设为 10,备用渠道设为 0;同一优先级再按权重分配。重试和故障降级还受重试策略、错误分类与渠道状态影响,不能只配置优先级就假设任何失败都会自动切换。
配置顺序
- 单独测试每一个候选渠道。
- 保证它们都能匹配客户端请求名和分组。
- 设置明确的主备优先级,或同级权重。
- 用实际请求观察命中渠道与错误日志。
- 在受控环境验证失败行为,确认没有重复提交昂贵任务。
渠道亲和性、多密钥状态与缓存可能影响短期观察结果。少量请求的命中次数不能证明权重配置错误。
排查模型名不一致
核对请求 JSON 的 model、令牌模型限制、渠道模型列表与映射键,名称应精确匹配。不要依靠大小写、前缀或模糊匹配自动补全。控制台的批量命名规则最终会生成显式映射,保存后应检查实际结果。