Tensordyne的Napier芯片旨在加速AI推理。自2020年以来，AI主要集中在训练更大、更好的模型。大型语言模型（LLM）的参数从数百万激增至数万亿。这被证明是有效的：Open AI的GPT-3最大版本于2020年发布，在一项流行的推理与知识基准测试中仅正确回答了43.9%的问题。仅仅四年后，GPT-4o在同一测试中得分88.7%，实际上达到了人类专家的水平。先进的AI实验室仍在训练更大的模型，但这种训练已略微退居AI对话的背景。在2026年，推理——使用训练模型生成代码、撰写文章或将我们自己生成为精灵图像——已走到前台。

“就像训练是昨天的新闻，”Moor Insights & Strategy的首席数据中心分析师Matt Kimball说。“所有首席信息官只想谈论的就是推理。”Nvidia首席执行官黄仁勋在公司GTC 2026会议上将这一变化称为“推理的拐点”。

导致这种转变的部分原因非常简单：LLM变得有用了，所以人们正在使用它们。此外，市场上的许多模型都是推理模型。为了响应用户的查询，它们不仅运行一次推理，而是多次运行，通过称为“思维链”的过程重新提示自己。推理模型生成更长的输出，高推理努力的模型可以产生多达20倍于低推理努力或无推理努力模型的文本。

推理需求的爆炸式增长导致了科技巨头之间意想不到的联盟。Open AI和Amazon部署了由Cerebras设计的餐盘大小的芯片，尽管Amazon有自己的Trainium芯片。Nvidia以200亿美元的争议性交易从AI推理初创公司Groq收购了关键人才和知识产权。而Anthropic每月向LLM竞争对手Space XAI支付超过10亿美元以租赁备用算力。