---
title: "模型与基础设施"
canonical: https://wavect.io/zh/blog/clusters/models-infrastructure/
language: zh
description: "模型选择、推理经济性、本地部署、压缩与服务架构。"
image: "https://wavect.io/img/general/bak/open_graph_preview.jpg"
---

专题

# 模型与基础设施

模型选择、推理经济性、本地部署、压缩与服务架构。

## 从这里开始

- [**在欧盟自托管 LLM：开放权重模型何时才真正划算**GPU 是便宜的部分。这里讲清真实成本、可验证的平衡公式、GDPR 取舍，以及 vLLM 生产栈。](/zh/blog/self-hosting-llms-eu-cost/)

## 本集合最新内容

### [Cue 轮次检测：电话号码采集、基准测试与局限](/zh/blog/cue-turn-detection-phone-numbers/)

- **Details:** AI 与智能体 · 2026年10月15日

停顿不代表电话号码已经说完。解析 Pype Cue v1 的实际改进、基准测量边界，以及正确采集和确认号码的测试方法。

### [Google SAM 现名 Agent Mesh：跨机器调用 MCP 工具](/zh/blog/google-sam-agent-mesh-mcp-tools/)

- **Details:** AI 与智能体 · 2026年10月12日

跨机器连接已获授权的工具，理解控制平面与签名 EU 标签，并明确首次试点应通过哪些检查。

### [EdgeQuake：用 PostgreSQL GraphRAG 构建 MCP 智能体记忆](/zh/blog/edgequake-postgresql-graphrag-mcp-agent-memory/)

- **Details:** AI 与智能体 · 2026年10月12日

让智能体检索文档之间的关系。基于 v0.34.0 核查 PostgreSQL 部署、MCP 访问权限、本地模型角色，以及 LightRAG 基准测试。

### [BitNet CPU 推理：2B4T 的实际内存需求与 100B 说法](/zh/blog/bitnet-cpu-llm-ram-requirements/)

- **Details:** AI 与智能体 · 2026 年 10 月 12 日

哪个 BitNet 模型可以下载，现有 CPU 又能运行哪个版本？厘清 100B 基准、0.4 GB 指标与 1.19 GB 文件的区别，再用实际任务评估。

### [SuperPenguin：按 PR、客户和功能核算 AI 成本](/zh/blog/superpenguin-ai-roi-cost-per-pr-customer/)

- **Details:** AI 与智能体 · 2026年10月9日

Claude Code、Codex 和 Cursor 的费用该归到哪个 PR？产品 API 调用又属于哪位客户？了解 SuperPenguin 的成本归因、账单核对、定价和试点方法。

### [Claude Dashboards + Motion：把产品指标做成视频](/zh/blog/claude-dashboards-motion-product-kpi-video/)

- **Details:** AI 与智能体 · 2026年10月9日

把核查过的产品指标做成简短动画。通过一个分群示例、两个提示词和共享规则，了解 Claude Dashboards 与 Motion 的实际协作流程。

## 完整文章目录

1. [Cue 轮次检测：电话号码采集、基准测试与局限](/zh/blog/cue-turn-detection-phone-numbers/) 2026年10月15日
2. [Google SAM 现名 Agent Mesh：跨机器调用 MCP 工具](/zh/blog/google-sam-agent-mesh-mcp-tools/) 2026年10月12日
3. [EdgeQuake：用 PostgreSQL GraphRAG 构建 MCP 智能体记忆](/zh/blog/edgequake-postgresql-graphrag-mcp-agent-memory/) 2026年10月12日
4. [BitNet CPU 推理：2B4T 的实际内存需求与 100B 说法](/zh/blog/bitnet-cpu-llm-ram-requirements/) 2026 年 10 月 12 日
5. [SuperPenguin：按 PR、客户和功能核算 AI 成本](/zh/blog/superpenguin-ai-roi-cost-per-pr-customer/) 2026年10月9日
6. [Claude Dashboards + Motion：把产品指标做成视频](/zh/blog/claude-dashboards-motion-product-kpi-video/) 2026年10月9日
7. [OpenAI Intelligent UI 与 OpenUI：企业应用如何落地生成式 UI](/zh/blog/openai-intelligent-ui-vs-openui/) 2026年10月8日
8. [RunAnywhere Wally：按已验收编程任务计算成本](/zh/blog/runanywhere-wally-coding-agent-cost/) 2026年10月8日
9. [Reducto 德语发票提取：测量人工复核成本](/zh/blog/reducto-german-invoices-human-review/) 2026年10月8日
10. [OpenAI Decisions API：置信度、拒绝回答与任务路由](/zh/blog/openai-decisions-api-model-routing/) 2026年10月7日
11. [Claude Model Router：到底何时切换模型？](/zh/blog/claude-model-router-hooks-vs-proxy/) 2026年10月7日
12. [Cloudflare Clef 与 Jev：价格、基准测试与迁移](/zh/blog/cloudflare-clef-vs-jev/) 2026年10月4日
13. [Context Language Models 与上下文压缩：应该如何试点？](/zh/blog/context-language-models-vs-compaction/) 2026年10月2日
14. [Caveman 3.0 与 Claude Code：本地输入压缩、原文恢复与基准](/zh/blog/caveman-3-claude-code-input-compression/) 2026年10月2日
15. [LiteLLM Lens：用 SQL 与 API 分析智能体 Trace](/zh/blog/litellm-lens-agent-trace-analysis/) 2026年10月1日
16. [SmythOS Studio 自托管指南：Docker、成本与部署边界](/zh/blog/smythos-studio-self-hosting/) 2026年10月1日
17. [DeerFlow 2.0：Docker 部署、沙箱与记忆机制](/zh/blog/deerflow-2-docker-setup-sandbox-memory/) 2026年9月28日
18. [CLM-8B 自托管：vLLM、动作缓存与验证器](/zh/blog/clm-8b-self-hosting-action-cache-verifier/) 2026年9月28日
19. [AnyJev：LLM 概率校准与选项顺序偏差](/zh/blog/anyjev-calibration-option-order-bias/) 2026年9月28日
20. [LiteAgents SDK：逐轮模型路由、安装与迁移指南](/zh/blog/liteagents-sdk-per-turn-model-routing/) 2026年9月25日
21. [mcp-memory-service：让 Claude Code 与 Cursor 共享持久记忆](/zh/blog/mcp-memory-service-claude-code-cursor/) 2026年9月24日
22. [Claude Opus 5.5 使用指南：适用场景、提示词与思考强度](/zh/blog/claude-opus-5-5-best-use-cases-workflows/) 2026年9月24日
23. [Laya 与 Jev 的企业应用：6 个实用工作流](/zh/blog/laya-jev-business-workflows-roi/) 2026年9月24日
24. [Laya vs Jev：基准结果与 AI 创业护城河](/zh/blog/laya-vs-jev-benchmark-ai-startup-moat/) 2026年9月20日
25. [Jev AI 评测：面向智能体工作流的决策模型](/zh/blog/jev-ai-decision-model-review/) 2026年9月18日
26. [SwarmLLM 评测 2026：手机与笔记本协同浏览器 LLM 推理](/zh/blog/swarmllm-browser-p2p-inference-review-2026/) 2026年9月9日
27. [Phonely Alma 评测：这款语音 LLM 能否用于生产？](/zh/blog/phonely-alma-voice-llm-review/) 6 Sep 2026
28. [Utopia 企业评估：双时态知识图谱与历史问答](/zh/blog/utopia-temporal-knowledge-graph/) 2026年9月6日
29. [NVIDIA PAIR 评测：本地 AI 路由与 AMD 支持缺口](/zh/blog/nvidia-pair-amd-rocm-strix-halo/) 4 Sep 2026
30. [Tencent Hy4 Preview 评测：百万 Token 上下文值得试点吗？](/zh/blog/tencent-hy4-preview-coding-agent-review/) 2026年9月1日
31. [PageLM 评估：自托管与商业使用](/zh/blog/pagelm-self-hosted-ai-study-platform/) 2026年8月30日
32. [M6 Mac mini 对比 M5 Mac Studio：本地 AI 选购指南](/zh/blog/mac-mini-m6-vs-mac-studio-m5-local-ai/) 2026年8月28日
33. [FreeToken AI 评测：消费级 GPU 能跑前沿 MoE 大模型吗？](/zh/blog/freetoken-ai-inference-engine-review/) 2026年8月25日
34. [Darkbloom AI 评测：用闲置 Mac 提供私有推理](/zh/blog/darkbloom-ai-private-inference-mac/) 2026年8月25日
35. [Ox Alpha 已揭晓为 GLM-5.3-Flash：变化解读](/zh/blog/ox-alpha-free-ai-model-guide-2026/) 23 Aug 2026
36. [Pika Audio API 价格：SFX 真的便宜 20 倍吗？](/zh/blog/pika-audio-models-api-pricing-2026/) 21 Aug 2026
37. [Thunder Compute 获 1300 万美元融资：企业 GPU 虚拟化采购指南](/zh/blog/thunder-compute-gpu-virtualization-series-a/) 2026年8月21日
38. [AirLLM 只用 4GB 显存跑超大模型？逐层推理原理与代价](/zh/blog/airllm-layer-wise-inference-low-vram/) 2026年8月20日
39. [Qwen3.8-27B：自托管电脑操作智能体，截图不出内网](/zh/blog/qwen3-8-27b-self-hosted-computer-use-agents/) 2026年8月18日
40. [Netflix 的 vLLM 与 Triton 推理栈：7 个生产经验](/zh/blog/netflix-vllm-triton-inference-stack/) 16 Aug 2026
41. [Transformers.js 浏览器本地 AI：什么时候适合放进产品](/zh/blog/transformers-js-browser-ai-guide/) 15 Aug 2026
42. [LiteLLM 生产级自托管指南：2026 架构与安全](/zh/blog/self-host-litellm-production-2026/) 13 Aug 2026
43. [AI 就绪企业 Wiki：架构与实施指南](/zh/blog/ai-ready-company-wiki/) 13 Aug 2026
44. [Claude 会给文本加水印吗？2026 API 实战解读](/zh/blog/claude-text-watermark-api-2026/) 11 Aug 2026
45. [OpenKB 评测：知识编译器 vs RAG](/zh/blog/openkb-review-vs-rag/) 11 Aug 2026
46. [Unsloth Desktop 评测：私有本地 AI 工作站？](/zh/blog/unsloth-desktop-local-ai-workstation-review/) 11 Aug 2026
47. [NeMo Switchyard 0.2：无需训练的智能体模型路由？](/zh/blog/nemo-switchyard-model-router/) 11 Aug 2026
48. [Firecrawl AnyDoc 评测：14 种格式转 Markdown](/zh/blog/firecrawl-anydoc-review/) 10 Aug 2026
49. [Muse Glimmer 30B：Meta 本地智能体模型能否用于生产？](/zh/blog/muse-glimmer-30b-local-agent-guide/) 10 Aug 2026
50. [OmniRoute AI 路由：配置指南与生产检查清单](/zh/blog/omniroute-ai-routing-setup/) 9 Aug 2026
51. [Gemini Robotics 2：全身控制与试点决策](/zh/blog/gemini-robotics-2-whole-body-control/) 7 Aug 2026
52. [pdf-inspector 评测：先本地解析 PDF，再调用 OCR](/zh/blog/pdf-inspector-ocr-routing/) 6 Aug 2026
53. [本地多模态 AI 编程助手：语音、OCR 与隐私架构](/zh/blog/local-multimodal-ai-coding-assistant/) 5 Aug 2026
54. [一台 AI PC 本地运行 DeepSeek V4 Flash 0731，现实效果如何？](/zh/blog/deepseek-v4-flash-0731-local-ai-pc/) 3 Aug 2026
55. [用 Unsloth 和 Colab 免费微调 Gemma 4](/zh/blog/fine-tune-gemma-4-free-unsloth-colab/) 29 Jul 2026
56. [Taalas HC1 评测：硬编码 LLM ASIC 值得买吗？](/zh/blog/taalas-hc1-llm-asic-review/) 28 Jul 2026
57. [你的硬件能运行哪个本地 LLM？llmfit 使用指南](/zh/blog/llmfit-local-llm-hardware-guide/) 27 Jul 2026
58. [Miso TTS 本地部署对比 API：成本、延迟与显存真相](/zh/blog/miso-tts-self-hosted-vs-api/) 2026年7月26日
59. [把 RAG 向量压缩到 2-bit：数据无关量化能上生产了吗？](/zh/blog/rag-vector-memory-quantization/) 2026年7月23日
60. [LMCache 报告共享 KV 缓存让平均 TTFT 降低 13.7 倍](/zh/blog/shared-kv-cache-llm-inference-latency/) 2026年7月23日
61. [LLM 权重无损压缩 vs 8-bit GGUF：哪些已具备生产条件？](/zh/blog/lossless-llm-weight-compression-production/) 2026年7月22日
62. [NVIDIA Nemotron 3.5 ASR：免费自托管 STT 能否用于语音智能体？](/zh/blog/nvidia-nemotron-3-5-asr-production-review/) 2026年7月19日
63. [Kimi K3 企业评测：API 价格、数据合规与试点清单](/zh/blog/kimi-k3-eu-api-production-review/) 2026年7月19日
64. [Mesh LLM 评测：一个大模型能否跨多台电脑运行？](/zh/blog/mesh-llm-distributed-inference-multiple-computers/) 2026年7月18日
65. [Bonsai 27B 评测：270 亿参数 LLM 真的能在手机上运行吗？](/zh/blog/bonsai-27b-phone-local-ai-review/) 2026年7月16日
66. [Soofi S：德国主权大模型准备好商用了吗？](/zh/blog/soofi-s-european-sovereign-llm/) 2026年7月16日
67. [Colibri 让消费级硬件跑起 GLM-5.2，代价是什么？](/zh/blog/colibri-glm-5-2-consumer-hardware/) 2026年7月14日
68. [本地模型什么时候胜过 API：欧盟企业盈亏平衡计算器](/zh/blog/local-models-vs-apis-break-even-eu-2026/) 2026年7月8日
69. [2026 年 LLM 成本计算器：算任务，不算 Token](/zh/blog/llm-cost-calculator-2026/) 2026年7月8日
70. [Pxpipe 评测：图像能把 Claude Code 成本降低 60% 吗？](/zh/blog/text-as-image-token-savings/) 2026年7月3日
71. [每 token 更便宜，每任务仍可能更贵](/zh/blog/cost-per-token-vs-cost-per-task/) 2026年7月2日
72. [Anthropic 不主张禁止开放权重。成本之争依然真实。](/zh/blog/open-source-ai-war-cost-2026/) 2026年7月1日
73. [2026 年 DACH 地区的内部 AI 助手到底要花多少钱](/zh/blog/internal-ai-assistant-cost-dach/) 2026年6月29日
74. [2026 年 LLM 网关对比：LiteLLM vs OpenRouter vs Portkey vs RouteLLM](/zh/blog/llm-gateway-router-comparison-2026/) 2026年6月27日
75. [在欧盟自托管 LLM：开放权重模型何时才真正划算](/zh/blog/self-hosting-llms-eu-cost/) 2026年6月26日
76. [2026 开放权重 LLM：DeepSeek、Qwen、Kimi、GLM、Llama 与 Muse](/zh/blog/open-weight-llm-comparison-2026/) 2026年6月25日
77. [如何在 2026 年降低 LLM Token 成本](/zh/blog/reduce-llm-token-costs-2026/) 2026年6月15日
78. [什么时候值得构建一套 LLM 评测？成本、ROI 与信任裁判](/zh/blog/llm-evaluation-cost-roi-production/) 2026年6月1日
79. [2026：RAG vs Fine-Tuning vs Long-Context](/zh/blog/rag-vs-finetune-vs-longcontext-2026/) 2026年5月26日
80. [2026 LLM API 成本：架构要变](/zh/blog/llm-api-costs-2026-architecture-shift/) 2026年5月26日