HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Jalapeño芯片:LLM加速设计

Hacker News •
×

8月25日,Open AI 正式全面发布 Jalapeño,这是该公司首款AI加速器芯片。Jalapeño提供高达13.4 petaflops的4位计算性能,并可访问232 GB的先进内存,与其连接带宽达15.4 TB/s。基准测试显示,与 Nvidia的GB300 相比,Jalapeño可将端到端延迟降低多达3.6倍,同时功耗更低。

该芯片从首个架构概念到首块硅片仅用不到20个月,首个RTL到流片仅间隔九个月。设计团队平均不足100人,Broadcom 负责从门级开始的物理设计,而Open AI负责包括推理加速器、内存层级和网络在内的端到端系统设计。

Open AI硬件副总裁Richard Ho表示,LLM赋予工程师超能力,使他们能更快探索设计路径。Verkor.io的David Chin和UC San Diego的Andrew Kahng等专家认可这一速度令人印象深刻,但认为Broadcom的参与至关重要。University of Maryland的Ankur Srivastava指出,LLM区别于以往自动化工具,在于其理解语言和代码的能力,使其非常适合仍处于语言领域的芯片设计任务。