HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Habitat:10亿用户每秒7000万请求

OpenAI Blog •
×

每个OpenAI产品都依赖快速、可靠的数据访问——无论是登录、检查Codex设置,还是开始ChatGPT对话。每个操作都可能需要许多独立的查询。缓慢的请求会让产品感觉迟缓;失败的请求则会让产品完全停止。Habitat是构建的在线存储平台,使OpenAI产品能够快速可靠地访问所需信息。

Habitat现在每秒处理超过7000万次请求,支持每周超过10亿人使用的产品,覆盖近40个地理区域。两年前,它只是一个连接到单一数据库的简单Python客户端库。如今,它是一个复杂的分布式系统,服务超过500PB的数据。

在这种规模上构建绝非易事,但让我们的情况独一无二的是前所未有的扩展速度。过去三年,我们同比增长超过10倍。Habitat不断演进:首先变得对关键任务流量可靠,然后对全球用户足够快,最终实现大规模运营。

本文是两部分系列的第一篇。我们将分享Habitat如何演进,为什么我们将其从库转变为服务,以及我们如何将基于Python的服务栈扩展为可靠的存储平台层。未来的文章将详细介绍多租户可靠性、读取性能优化以及我们与Azure Cosmos DB的合作扩展。

关键实体:公司:OpenAI、Azure Cosmos DB

FAQ:OpenAI基础设施中的Habitat是什么?

Habitat是OpenAI的在线存储平台,使产品能够快速可靠地访问所需信息,每秒处理超过7000万次请求,服务每周超过10亿用户。

FAQ Q:OpenAI基础设施中的Habitat是什么?

FAQ A:Habitat是OpenAI的在线存储平台,使产品能够快速可靠地访问所需信息,每秒处理超过7000万次请求,服务每周超过10亿用户。