2026 年 LLM 网关对比：LiteLLM vs OpenRouter vs Portkey vs RouteLLM

大多数团队把产品直接接到某一家供应商的 SDK 上。一开始没问题，直到出问题。供应商一宕机，你的应用跟着倒下。然后财务来问，为什么一个失控的任务一个下午就烧掉了一个月的预算。然后出了一个新模型，对你一半的流量来说更便宜也更好，可换过去意味着要动每一处调用点。于是团队开始往上拧重试、花费上限、第二家供应商、一个缓存，一个季度下来，就在自己的代码里草草搭出了半层 agent 基础设施，没有人真正负责它。

这层有个名字：LLM 网关。放在多家供应商前面的一个端点，可以集中处理回退、缓存、花费上限和路由。这是工程视角，不是供应商推销。我们在 2026 年 9 月 2 日用第一方来源复核了下面的功能、许可、隐私和价格主张。产品目录和费用会变化，采购时仍应再次确认。

LLM 网关到底做什么？

网关是一个代理，坐在你的应用和模型供应商之间。你的代码调用一个端点，通常是 OpenAI 的请求格式，网关把这个调用翻译并转发给应该来处理它的供应商。这一道接缝，正是你拿到那些本来要手搓的功能的地方：

• 一个端点覆盖多家供应商。共同的请求接口能减少供应商专属代码，但不会消除锁定，因为工具、Schema、安全行为和模型语义仍有差异。
• 回退。遇到符合规则的错误或超时，配置好的网关可以重试另一部署、模型或供应商。这会提高韧性，但不保证可用性。
• 缓存。相同或语义相似的请求可以返回一份已存的响应，完全跳过模型调用，在重复流量上同时省成本和延迟。
• 花费上限与 key。按 key、按用户、按团队设预算和速率限制，这样一个坏循环不能掏空账户，你也能给每个团队发一个受限的虚拟 key。
• 路由。把简单的大多数发给便宜模型，把困难的少数发给 frontier 模型，可以按规则，也可以按学习出来的策略。
• 可观测性。一处就能看到每个请求的成本、延迟和 token，按模型、key 和功能拆开。

路由是多数人冲着来的那个成本杠杆，它的经济账我们在如何在 2026 年降低 LLM token 成本里讲过。这篇文章讲的是给你这个杠杆、外加这一整层其余部分的那些工具。

LiteLLM、OpenRouter、Portkey 和 RouteLLM 有什么区别？

这四个名字常被一起提起，但不是同类产品。LiteLLM 和 Portkey 提供网关软件，OpenRouter 是托管聚合器，RouteLLM 是路由研究框架。下表已在 2026 年 9 月 2 日按第一方来源核实。

LiteLLM 文档称其提供兼容 OpenAI、覆盖 100+ LLM API 的网关与 SDK。仓库大部分采用 MIT 许可，但 enterprise 目录下的文件使用单独的商业许可。OpenRouter 是带统一账单、供应商路由和大目录的托管聚合器。Portkey 网关采用 MIT 许可，支持路由、缓存、重试、护栏与自托管；Portkey 也销售托管和企业方案。RouteLLM 是 LMSYS 与伯克利用来服务和评估学习型路由决策的框架，不是外围网关控制面。

"这四个里三个是网关，一个是路由器。拿 RouteLLM 和 LiteLLM 比，就是拿大脑和身体比。多数团队两者都需要，而多数团队先去拿身体。"

自托管还是托管：你该选哪个？

这是第一个真正的决定，通常它就决定了工具。取舍是控制权和数据驻留，对上运维负担。

如果 LiteLLM 已经是你的首选，请继续阅读我们的LiteLLM 生产级自托管指南，落实 Postgres、Redis、密钥管理、补丁和上线控制，而不只停留在“自托管”这个标签。

• 托管（OpenRouter、Portkey 云）。你无需运维网关，但请求路径多了一个处理方。OpenRouter 表示 prompt 与 completion 日志默认为关闭，同时会保留请求元数据，上游模型供应商的政策仍然适用。其隐私控制包含供应商政策筛选，企业客户可申请欧盟区内路由。FAQ 列出无加价的推理价格、购买 credits 时 5.5% 且最低 0.80 美元的费用，以及单独的 BYOK 条件。由于价格页已按方案表达部分 BYOK 免费额度，预算时需同时核对 FAQ、价格页和合同。
• 自托管（LiteLLM、Portkey 网关、RouteLLM）。你控制网关部署和升级，但调用仍会到达配置的上游模型供应商。LiteLLM 的开源组件不另收单次网关费用，商业功能有单独条款。持久化花费跟踪和生产拓扑可能加入 Postgres、Redis 等服务，但并非每次安装都必须。

实用的默认做法，是选择已经满足数据处理、可靠性与运维约束的部署方式。自托管不自动等于合规，SaaS 也不自动等于不适合。决策前应列清子处理方、保留期、区域、密钥和事故责任。

成本跟踪和可观测性做得怎么样？

供应商仪表盘可以显示账户用量，网关则能跨供应商统一归因，并附加应用元数据。这四种工具对此覆盖深度不同。

• LiteLLM 文档列有多租户花费跟踪、预算、速率限制和日志回调。自托管能控制网关遥测的存放位置，但不能决定上游供应商的保留政策。
• Portkey 提供日志、追踪、分析、反馈和护栏。其 2026 年 9 月价格按记录日志计量：Free 每月 10,000 条，49 美元/月的 Production 在额外收费前含 100,000 条。Free 超额后请求继续处理，但不会继续记录日志。
• OpenRouter 给你一个用量仪表盘和你所调用模型的分析，对很多团队够用，而且零配置。
• RouteLLM 带有服务和评估工具，但没有网关所提供的多租户花费、密钥与生产遥测控制面。

花费仪表盘只说明付了多少，不证明质量守住了。部分平台现在带有评估功能或集成，例如 Portkey 的评估模板与批量评估指南，但你仍需要针对自身任务的验收集和发布门槛。

RouteLLM 放在哪里合适，那些数字是真的吗？

RouteLLM 是这四个里唯一纯粹围绕路由决策的：给定一个查询，把它发给强模型还是便宜模型。公布的数字确实亮眼，值得谨慎引用。LMSYS 和伯克利团队报告，在用了增强训练数据后，他们的矩阵分解路由器只把 14% 的调用发给强模型，就达到约 95% 的 GPT-4 性能，他们把这折算成比随机基线便宜约 75%，在 MT Bench 评测上降本超过 85%。

请把这些数字当作方向性的，并按来源的口径来读：它们来自 RouteLLM 的原始论文，在特定数据集（MT Bench、MMLU、GSM8K）上、对照一个 GPT-4 级强模型测得，2024 年发表，并在 ICLR 2025 上展示。你的流量不是这些基准，所以在你工作负载上的节省会有出入。诚实的要点是那个形态，而不是确切的百分比：一个学习出来的路由器能守住大部分质量，只把少数调用发给昂贵模型。在信任它之前，你仍然得在自己的评估上把它证明一遍。

在实践中，你不会用 RouteLLM 来取代网关。你可以让 RouteLLM 当路由大脑，在外面包一个网关来做回退、key、缓存和可观测性；或者你用网关自带的更简单的路由规则，省掉这个框架。当路由是你最大的单一成本杠杆、而基于规则的路由正把节省留在桌上时，RouteLLM 才挣到它的位置。

如果你正在具体评估 OmniRoute，应把产品问题与品类对比区分开。我们的 OmniRoute AI 路由配置与生产检查清单覆盖路由设计、访问强化、故障演练和上线前的评估门槛。

你该怎么选？

把工具映射到真正约束你的那条限制上，而不是最长的功能清单：

1. 今天就要，没有基础设施可运维。选托管方案。要模型广度、一个 key 就够，选 OpenRouter；如果还想从第一天起就有可观测性和护栏，选 Portkey 云。
2. 数据驻留或完全控制要紧。自托管。想要一个轻量、被广泛使用的开源代理，选 LiteLLM；如果可观测性和护栏是头等要求，选 Portkey 的开源核心。
3. 可观测性和护栏是优先项。Portkey 是围着它们建的。其他几个会记日志；Portkey 把日志做成了产品。
4. 路由是你最大的成本杠杆。把 RouteLLM 作为路由大脑放进你选定的网关里，并在自己的评估上证明节省。
5. 你拿不准。先用一个托管网关，给它装上仪表，让两周真实的按功能花费数据告诉你该优化什么。数据回答这个问题，比对比表更快。

保持狭窄的 OpenAI 兼容接口可以减少迁移工作，但不会让网关变得可互换。切换前应测试流式输出、工具调用、结构化输出、错误、认证和供应商专属扩展。