重新思考 AI TCO：为何每 Token 成本才是唯一重要的指标

传统数据中心过去主要用于数据的存储、检索与处理。但在生成式AI与代理式AI时代，这些设施已演变为AI Token工厂。随着AI推理成为其核心工作负载，它们的主要产出已转变为以Token形式制造的智能。

这一转变也需要对包括总体拥有成本（TCO）在内的AI基础设施的经济效益评估的方式相应地进行调整。然而，在评估AI基础设施时，企业仍过于关注芯片峰值规格、计算成本，或每美元所能获得的浮点运算性能，即每美元FLOPS。

关键区别在于：

前两者仅是投入指标。但当业务围绕产出运转时，只针对投入优化，本质上是一种根本性的错配。

每Token成本决定了企业能否实现AI的规模化盈利。它是唯一能够直接综合反映硬件性能、软件优化、生态系统支持以及实际利用率的TCO指标，而NVIDIA在这一指标上实现了行业最低的每Token成本。

能够降低每Token成本的因素有哪些？

要理解如何优化每Token成本，首先需要了解用于计算“每百万Token成本”的计算公式。

在这个公式中，许多评估AI基础设施的企业往往只关注分子项，即每GPU每小时成本。对于云部署而言，这对应支付给云服务提供商的小时费用；而对于本地部署，则是通过摊销自有基础设施得到的等效小时成本。然而，降低每Token成本的关键在于分母，即最大化实际交付的Token产出。

这个分母传递了两层商业含义：

因此，如果只关注分子，就会忽视真正决定分母的因素。可以将其理解为一个“推理冰山”：分子位于水面之上，直观可见且易于横向比较；而分母则隐藏在水面之下，那才是决定实际Token产出的关键因素。对AI基础设施的准确评估，应从探究水面之下的部分开始。

这些算法、硬件与软件化中的每一项优化都必须有效并且是可以相互集成的，否则分母项将无法成立。一块看似“更便宜”的GPU，如果其每秒Token产出数量明显更低，反而会导致更高的每Token成本。能够做到全栈真正优化的AI基础设施，才能够确保每项优化都相互增强，从而持续提升整体效率。

为什么每Token成本比每美元FLOPS更重要？

以下DeepSeek-R1 AI模型的数据展示了理论指标与实际商业结果之间的差异。

仅从算力成本来看，NVIDIA Blackwell平台的成本似乎约为NVIDIA Hopper的2倍，但算力成本并不能说明这项投入究竟能带来多少实际产出。如果仅以每美元FLOPS进行分析，相较于NVIDIA Hopper架构，NVIDIA Blackwell仅有约2倍优势。然而，实际结果却呈现出数量级差异：Blackwell每瓦的Token产出量是Hopper的50倍以上，每百万Token的成本降低至其1/35左右。

注：数据来源于NVIDIA分析报道及SemiAnalysis InferenceX v2基准测试。

这一悬殊差异表明，相较于上一代Hopper，NVIDIA Blackwell在商业价值上实现了巨大的跃迁，其提升幅度远超系统成本的增加。

如何选择合适的AI基础设施？

仅凭算力成本或每美元理论FLOPS来比较AI基础设施，不仅是不充分的，也无法真实反映推理经济学。正如数据所展示的，要准确评估AI基础设施的营收潜力与盈利能力，需将衡量维度从输入指标转向每Token成本和实际Token产出量。

NVIDIA通过在计算、网络、内存、存储、软件以及合作伙伴技术上的极致协同设计，实现了业内最低的Token成本与最高的Token吞吐量。此外，诸如vLLM、SGLang、NVIDIATensorRT-LLM以及NVIDIA Dynamo等基于NVIDIA平台构建的开源推理软件的持续优化，意味着在现有NVIDIA基础设施部署后，Token产出仍可不断提升，每Token成本会持续下降。

领先的云服务提供商与NVIDIA云合作伙伴，已在规模化部署中充分体现这一优势。包括CoreWeave、Nebius、Nscale与Together AI在内的合作伙伴，已部署NVIDIA Blackwell基础设施，并对其技术栈进行了优化，为企业提供当前最低的Token成本，同时充分发挥NVIDIA在硬件、软件与生态系统协同设计方面的全部优势，使每一次AI交互的处理都建立在这一完整体系之上。