本地模型什么时候胜过 API：欧盟企业盈亏平衡计算器

本地 LLM 只有在负载、治理和运维能力同时成立时才会胜过 API。便宜的 GPU 小时不是商业理由。真正要算的是每个成功任务的成本，其中必须包括利用率、并发、冗余、工程时间、eval 维护和欧盟数据驻留。如果开源权重模型不能通过你的 eval，计算就结束。如果它能通过，但 GPU 一天大部分时间空闲，计算通常也会结束。

这篇文章是 LLM 成本计算器 2026 的自托管版。那篇文章比较 API 的每任务成本；这里比较 API 任务和本地推理。2026 年利用率研究给出的核心教训很简单：同一块 H100，因为负载和并发不同，每百万输出 token 的成本可能极低，也可能非常高。一篇近期 arXiv 论文在相同 H100 硬件上测得 $0.21 到 $15.25 每百万输出 token 的跨度，并指出忽略利用率的计算器会按 1 / U 低估成本。

简短答案

当流量低、波动大、变化快，或依赖 frontier reasoning 时，通常用 API。当你有高而稳定的负载、一个能通过 eval 的模型、能运维该栈的团队，并且有严格欧盟数据驻留要求或昂贵 API baseline 时，本地模型才值得认真计算。欧盟区域 API 和托管 open-weight endpoint 通常是完全自托管前的中间答案。

计算器

比较 API 的每成功任务成本和本地的每成功任务成本。不要拿供应商账单和 GPU 账单直接比较。

本地每 1M token 有效成本 = ((gpu_hourly_rate + infra_hourly + ops_hourly) / (tokens_per_second * 3600 * measured_utilization)) * 1,000,000。

实际利用率是陷阱。如果表格假设 80%，而生产只有 12%，在冗余、值班和 eval 维护之前，成本已经大约错了 6.7 倍。

先收集哪些输入

为什么利用率比 GPU 价格重要

GPU 报价很直观，利用率却来自你的流量形态。交互式助手可能长时间空闲并突然冲高。夜间抽取任务可以用受控队列深度连续运行数小时。后者可能让本地模型合理；前者通常不会。

Serving 栈同样重要。vLLM 与 HuggingFace TGI 的研究发现，高并发工作负载下 vLLM 吞吐最高可达 TGI 的 24 倍，而 TGI 在中等并发的交互场景中尾延迟更低。这并不表示 vLLM 永远胜出，而是说明你的计算器需要针对具体模型、量化、上下文长度和延迟目标做 benchmark。

不要和错误的 API 比较

本地模型不需要击败价格表里最贵的 frontier 模型，除非你的任务真的需要它。它需要击败经过缓存、batch、路由和模型 right-sizing 之后仍能接受的最便宜托管路径。

• OpenAI pricing 区分输入、缓存输入和输出，因此稳定 prefix 会显著改变 baseline。
• Gemini pricing 在付费层包含 context caching 和 batch pricing，并按层级区分是否用于产品改进。
• Amazon Bedrock 表示部分 foundation model 的 batch inference 比 on-demand 低 50%。
• Azure OpenAI 对欧盟企业很重要，因为 data zone、provisioned throughput、预留和采购流程都可能和 token 价格同等重要。

优化顺序见 2026 年如何降低 LLM token 成本。模型选择见 open-weight LLM 对比。

示例计算

假设一家欧盟 SaaS 公司运行文档富集流水线。当前 API 路径在缓存、batch、重试和验证调用之后，每个成功文档成本为 0.018 美元。本地候选模型通过同一 eval。本地栈每月总成本 9,800 美元，包括 GPU、热备容量、存储、日志、监控、网络、工程时间和 eval 维护。每个文档的本地可变成本为 0.003 美元。

需要加入风险缓冲。如果 eval 通过率下降、实际利用率低于 benchmark、failover 需要第二块热备 GPU，或需求有季节性，盈亏平衡点会右移。如果负载异步且能夜间填满 GPU，盈亏平衡点会左移。

欧盟因素

对欧盟企业来说，本地还是 API 很少只是价格问题。GDPR、DPA、客户采购、行业规则和可审计性都可能决定架构。但治理并不自动等于自托管。

更多背景见 AI 应用的欧盟数据驻留 和 在欧盟自托管 LLM 的真实成本。

你真正付费的本地栈

这个栈不是“模型加 GPU”。生产部署通常包括 vLLM 这样的 serving runtime、模型 artifact 管理、量化决策、autoscaling 或队列控制、遥测、日志策略、访问控制、eval job、发布门禁、事故响应，以及本地模型失败或 GPU 池满载时的 fallback 路由。

更务实的架构往往是混合：本地处理便宜、稳定、高频工作；API 处理困难任务、overflow、多模态、工具重的推理，或 frontier 质量仍然胜出的场景。这时计算器会变成路由计算器：本地默认、API fallback、实测升级率，以及证明低价路径仍合格的 eval。

来源和价格提醒

供应商价格和模型名称变化很快。公式是稳定的，示例价格机制是 2026 年 7 月快照。预算前请重新检查 OpenAI pricing、Gemini API pricing、Amazon Bedrock pricing 和 Azure OpenAI pricing。利用率和 serving 假设见 Beyond Per-Token Pricing 与 vLLM vs TGI 研究。