OpenAI的产品依赖于其在线存储平台Habitat,该平台必须在毫秒级时间内响应分布在40个地理区域的超过10亿用户的请求。在支持这种增长的同时提高可靠性、性能和开发者效率,需要重新思考该平台的设计和运营方式。OpenAI的方法遵循清晰的顺序:首先足够可靠以承载关键任务流量,然后足够快以服务全球用户,最后实现大规模运营。
本系列文章分为两部分,追溯了Habitat从一个简单的客户端库和数据库,演变为一个全球分布式存储平台的历程,该平台目前服务于超过500PB的数据。第一部分介绍了从Python客户端向服务的转变,以及将基于Python的服务推进到远超许多人认为可行范围的技术。
第二部分聚焦于底层存储组件Azure Cosmos DB的扩展。OpenAI与Azure团队密切合作,找到了一种可行的多租户方案,即共同管理的容器,在大规模全球范围内提供了出色的读取性能。
多租户带来了权衡。单租户系统可以减小故障影响范围并简化所有权,但成本高昂,而且往往导致严重的过度配置。多租户系统集中了配置方面的专业知识,但会带来"吵闹邻居"问题,即某个租户占用了过大份额的资源。OpenAI在这两种模式之间来回摇摆,最终确定以多租户容器作为默认方案,并表示其多租户之旅仍处于早期阶段。
来源: OpenAI Blog · 由HeadlinesBriefing整理摘要