在欧盟自托管 LLM：开放权重模型何时才真正划算

在表格上，自托管一个开放权重 LLM 看起来是稳赚的。每小时花几美元租一块 GPU，跑一个免费模型，不再按 token 付费。账单变平，整套栈归你所有。这就是它的卖点，而它只对了一半。它略过的那一半，恰恰决定你是省了钱还是在悄悄亏钱：GPU 是便宜的部分。贵的是那个让推理服务器一直活着的工程师、那个证明量化模型仍能正确作答的评测框架，以及当两个月后更好的开放模型发布时不会停下来的升级节奏。

这是工程与流程视角，不是供应商推销。下面的数字是方向性的，取自 2026 年的公开趋势，在你做决定前应当对照实时报价复核，因为 GPU 价格和 token 价格都按月波动。我们在 AI Enablement 工作中把内部 AI 部署到客户的基础设施上，所以这里的取舍是我们真的会和客户一起权衡的，不是纸上模型。本文延伸我们的token 成本手册（那篇只略微提及自托管），深入讲清楚那个决定一切的问题：自建推理何时能胜过托管 API？

除了 GPU，自托管一个 LLM 到底要花多少？

GPU 这一项是人人都会报的，如今它确实便宜。一块 NVIDIA H100 在欧盟的专业 GPU 云上每小时大约 2 到 4 美元，超大规模云贵两到三倍，欧盟主权云大约在 2 美元上下（方向性数字，做决定前请复核）。让一块预留的 H100 全天候运行，光硬件你就要看 每月约 1,500 到 3,000 美元。

这个数字是真的，同时也是总成本里最小的一块。决定这笔账的，是表格跳过的那些成本：

• 工程师时间。得有人搭起推理服务器、调 batch 大小、管理 GPU 驱动和 CUDA 版本、处理模型加载与回滚，并让它一直跑着。这不是一次性安装，而是持续运维，而在欧盟，一名称职的 ML-ops 工程师每月的成本远高于那块 GPU。
• 冗余。单块 GPU 是单点故障。生产通常意味着至少两块外加故障切换方案，这大致让硬件这一项翻倍，还要加上负载均衡的工作。
• 评测与质量保障。自托管模型一旦退化，责任在你。你需要一套评测框架，证明模型在每次量化决策和每次版本升级后都守住了质量。没有它，你就是在盲飞。
• 升级节奏。开放权重迭代很快。今天有竞争力的模型一个季度后就成了中游。保持跟进是反复出现的工程工作，不是装好就忘的事。

把这些加起来，诚实的定调和我们 token 成本工作里的一样：盈亏平衡由工程师时间决定，而不是 GPU 机架价。模型运行起来便宜。围绕它的纪律不便宜。

相对一个托管 API，盈亏平衡点在哪？

不存在单一的平衡点数字，因为它完全取决于你要替换的是哪个 API。区间宽到足以让这里判断失误成为最常见的自托管错误。

• 相对一个昂贵的前沿 API（Claude、GPT 或 Gemini 的顶级档），在预留 GPU 上自托管可能在每天几百万 token 时就达到平衡，有时被估在 200 万到 500 万的范围。前沿模型的输出 token 很贵，所以要超越的门槛很低。
• 相对一个便宜的开放权重 API 供应商（Together、Fireworks、DeepInfra 等），平衡点会陡然抬高，常被引用为每天 5000 万 token 或更多。这些供应商已经在大规模、薄利下运行着优化过的基础设施，所以你拼的是它们的规模经济，而不是它们的标价。

对大多数团队的实际判断：如果你的替代方案是一个便宜的托管开放权重端点，那么在你持续跑出可观且稳定的量之前，托管仍然更便宜。突发流量会让自托管更糟，因为无论 GPU 是忙是闲你都得付钱，而 API 只按你用的量收费。这个平衡点假设你有一块能把利用率维持得相当满的 GPU。把上面的数字当作方向性参考，在决定前代入你自己的 token 量、GPU 价格和工程师成本。更宏观的成本曲线我们在便宜的 token 会改变你的 AI 架构什么里讲过。

"大多数团队自托管得太早。他们给 GPU 定了价，却没给那个要让它一直活着的工程师定价，几个月后托管 API 本会更便宜也更省事。"

数据驻留何时会不计成本地逼你自托管？

成本只是一个维度。另一个是治理，对某些欧盟工作负载而言，它会彻底压过那笔账。如果你处理个人或受监管的数据，又不能把它发往欧盟以外的端点，那么成本比较就无关紧要了。问题不再是"自托管是否更便宜"，而变成"最便宜的合规选项是什么"。

在 GDPR 下，关键是推理在哪里运行、数据落在哪里，而不只是数据静态存放在哪里。一份签署的数据处理协议、欧盟数据驻留、目的限制，以及一张明确标出个人数据在何处被处理的架构文档，是合规设置的基石。在你自己的欧盟基础设施上自托管开放权重，能让你对外部子处理者的暴露最小，因为推理时没有第三方触及数据。它同时带来最重的运维负担，因为服务、日志、访问控制和回滚都成了你的责任。驻留方案我们在面向 AI 应用的欧盟数据驻留里讲得更深。

之上还有一层监管。欧盟 AI 法案正在分阶段生效，时间表是临时性的、仍在变动，所以请把任何具体日期都视为可能改变。截至 2026 年中，通用型 AI 模型的义务已经在适用，更广泛的高风险义务在 2026 年 5 月达成的一项政治协议下被推后，执法权限计划在 2026 年及之后逐步上线。对欧盟团队的实际要点不是某个日期，而是：掌控模型在哪里运行，正在成为一项治理资产，而不只是一笔成本，自托管是把这份掌控握在自己手里的一种方式。在你以此为基础提出合规主张之前，请对照官方来源确认现行义务。

如果你确实要自托管，生产栈长什么样？

如果量或合规已经替你做了决定，2026 年的生产栈已经相当成熟，而且它和你在笔记本上做原型用的那套不一样。本地单流运行器适合做实验，但用于生产就是错的，因为它让 GPU 大部分时间闲着。

• 推理引擎：vLLM。vLLM 的持续批处理（continuous batching）和 PagedAttention 让单块 GPU 以远高于朴素单流方案的聚合吞吐服务大量并发请求。2026 年的公开基准把它定在同一块 H100、同一量化下、约为简单运行器聚合 token 的八到九倍。决定 GPU 经济性的是吞吐，而不是单请求速度，因为吞吐才能让卡保持满载。SGLang 和 TensorRT-LLM 是同档次可信的替代方案。
• 量化的开放权重。你几乎总是跑量化模型而非全精度，为的是把一个有用的模型塞进一块 GPU 并服务更多并发。在 H100 级硬件上，FP8 在大约一半显存下保持接近全精度的质量。需要更小时，AWQ 4-bit 通常是真实任务上最强的 4-bit 格式（公开对比把它的质量保持率定在 90 多的高位），GPTQ 紧随其后。要注意：4-bit 量化在困难推理和数学上可能明显退化，而在摘要、分类和抽取上仍然不错。这正是下面那条评测不可省的原因。
• 模型本身。Llama、Qwen、DeepSeek 和 Mistral 级别的开放权重是常见候选。在它们之间取舍是另一个独立决策，我们在开放权重模型对比里逐一梳理。

你怎么知道更便宜的路真的守住了质量？

这是团队会跳过、然后后悔的一部分。自托管栈里的每一个选择，模型、量化、batch 设置，都可能悄悄拉低质量，而一条悄无声息答得更差的便宜路径，是所有结果里最贵的。唯一诚实的防线，是一套对你真实任务打分的评测框架，而不是公开基准。

这一点我们刻意保持谦逊。建立并维护好的评测，比搭起推理服务器更难，自托管的大部分持续工程成本就在这里，而不在 GPU。你需要一个有代表性的任务集、一套你信得过的打分方法，以及一道在每次更换模型或量化前都会运行的关卡。没有它，你无法判断换成 FP8 是否在要紧的用例上让你损失了两个百分点的准确率。这正是我们在 Twinsoft AI 这类生产 AI 项目中应用的纪律：模型选择只有建立在一套能证明它守住了底线的评测之上才是安全的。

那么，你该自托管吗？一份决策清单。

按顺序过这几个问题。如果前两个的诚实答案都是否，就默认选托管 API，以后再回头看。

1. 数据驻留是否在逼你？如果你在法律上不能把数据发往欧盟以外的端点，又没有合适的欧盟托管 API，那么自托管可能是最便宜的合规选项，与 token 账目无关。仅此一条就能拍板。
2. 你的量是否又高又稳？相对一个便宜的开放权重 API，你通常要在一块能保持满载的 GPU 上持续跑出每天数千万 token，自托管才会胜出。突发或低量更适合 API。
3. 你有运维能力吗？自托管是反复出现的工程工作：驱动、冗余、升级、监控。如果你的团队不丢下产品工作就扛不起这些，GPU 省下的钱就蒸发了。
4. 你能用评测证明质量吗？如果你无法衡量一个量化的开放模型是否守住你的质量底线，你就还没准备好在生产里依赖它。
5. 你把整张图都定价了吗？GPU 加冗余加工程师时间加评测维护，对比 API 的全包成本。比的是总额，不是拿 GPU 那一项去比 token 那一项。

对大多数早期和中期产品，答案仍然是：留在托管 API，若驻留要紧就选一个数据驻留在欧盟的。当量或合规逼出这个问题时再自托管，而不是一开始就自托管。如果你想在自己的数字和基础设施上做这个比较，那正是我们 AI Enablement 工作的用途。