llm-router

关于

这是一个自托管的 OpenAI-compatible 模型路由代理，可以把已有的中转站升级成会自动选模型的本地 AI Gateway。 很多人已经有一个 OpenAI-compatible 中转站 baseurl 和 API Key，但是日常使用时需要在客户端里反复手动切模型：简单问题用强模型浪费钱，复杂 coding 或规划任务用弱模型又容易翻车。 LLM Router 的做法是在客户端和中转站之间加一层轻量本地代理。客户端只需要把模型名填成： auto auto-coding auto-longtext 路由器会先用上游列表中“价格已知且最便宜”的模型做一次路由判断，只输出结构化 JSON，不直接回答用户；然后再把原始请求转发给它选择的真实目标模型。即使路由模型和回答模型是同一个 ID，也会是第二次独立调用。 主要特性： OpenAI-compatible：支持 /v1/chat/completions、/v1/models、/health 支持 stream: true，可以代理上游 SSE 流式响应 支持 tools / function calling 透传 支持多模态 Chat Completions 透传，内部路由时会自动瘦身 base64 图片 payload 支持 fallback：目标模型遇到 timeout、网络错误、429、5xx 时会重新路由 响应 header 会返回原始模型和最终目标模型，方便观察路由结果 TypeScript + Node.js 实现，MIT 协议，支持 Docker 一个典型用法： bash baseurl= apikey=local-router-key model=auto-coding 我做这个项目的目标，是让个人开发者不用再手动判断“这次该用便宜模型还是强模型”，而是把模型选择变成一个本地、透明、可替换的路由层。

收录记录

1. 阮一峰周刊·用户投稿

   2026年5月26日 · 1 次收录