路由配置
配置如何将请求路由到不同的模型。
默认路由
为所有请求设置默认模型:
{
"Router": {
"default": "deepseek,deepseek-chat"
}
}
内置场景
后台任务
将后台任务路由到轻量级模型:
{
"Router": {
"background": "groq,llama-3.3-70b-versatile"
}
}
思考模式(计划模式)
将思考密集型任务路由到更强大的模型:
{
"Router": {
"think": "deepseek,deepseek-reasoner"
}
}
长上下文
路由长上下文请求:
{
"Router": {
"longContextThreshold": 100000,
"longContext": "gemini,gemini-2.5-pro"
}
}
网络搜索
路由网络搜索任务:
{
"Router": {
"webSearch": "gemini,gemini-2.5-flash"
}
}
图像任务
路由图像相关任务:
{
"Router": {
"image": "gemini,gemini-2.5-pro"
}
}
故障转移(Fallback)
当请求失败时,可以配置备用模型列表。系统会按顺序尝试每个模型,直到请求成功:
基本配置
{
"Router": {
"default": "deepseek,deepseek-chat",
"background": "ollama,qwen2.5-coder:latest",
"think": "deepseek,deepseek-reasoner",
"longContext": "openrouter,google/gemini-2.5-pro-preview",
"longContextThreshold": 60000,
"webSearch": "gemini,gemini-2.5-flash"
},
"fallback": {
"default": [
"aihubmix,Z/glm-4.5",
"openrouter,anthropic/claude-sonnet-4"
],
"background": [
"ollama,qwen2.5-coder:latest"
],
"think": [
"openrouter,anthropic/claude-3.7-sonnet:thinking"
],
"longContext": [
"modelscope,Qwen/Qwen3-Coder-480B-A35B-Instruct"
],
"webSearch": [
"openrouter,anthropic/claude-sonnet-4"
]
}
}
工作原理
- 触发条件:当某个路由场景的模型请求失败时(HTTP 错误响应)
- 自动切换:系统自动检查该场景的 fallback 配置
- 顺序尝试:按照列表顺序依次尝试每个备用模型
- 成功返回:一旦某个模型成功响应,立即返回结果
- 全部失败:如果所有备用模型都失败,返回原始错误
配置说明
- 格式:每个备用模型格式为
provider,model - 验证:备用模型必须在
Providers配置中存在 - 灵活性:可以为不同场景配置不同的备用列表
- 可选性:如果某个场景不需要备用,可以不配置或使用空数组