Cada produto da OpenAI depende de acesso rápido e confiável aos dados—seja ao fazer login, verificar as configurações do Codex ou iniciar uma conversa no ChatGPT. Cada ação pode exigir muitas consultas separadas. Solicitações lentas fazem o produto parecer lento; solicitações com falha o param completamente. Habitat é a plataforma de armazenamento online construída para que os produtos da OpenAI possam acessar rápida e confiavelmente as informações necessárias.

O Habitat agora lida com mais de 70 milhões de solicitações a cada segundo, apoiando produtos usados por mais de 1 bilhão de pessoas toda semana em quase 40 regiões geográficas. Há dois anos, começou como uma simples biblioteca cliente Python conectada a um único banco de dados. Hoje, é um sistema distribuído complexo que serve mais de 500 petabytes de dados.

Construir nessa escala não é uma tarefa fácil, mas o que tornou nossa situação única foi a taxa de escalonamento sem precedentes. Crescemos mais de 10x ano após ano nos últimos três anos. O Habitat evoluiu: primeiro tornando-se confiável para tráfego crítico, depois rápido o suficiente para usuários globais, e finalmente operando em escala massiva.

Este post é o primeiro de uma série de duas partes. Compartilharemos como o Habitat evoluiu, por que o transformamos de uma biblioteca em um serviço, e como estendemos uma pilha de serviço baseada em Python para uma camada de plataforma de armazenamento confiável. Um post futuro detalhará a confiabilidade multi-inquilino, a otimização do desempenho de leitura e a escalabilidade de nossa parceria com o Azure Cosmos DB.

Entidades-chave: Empresas: OpenAI, Azure Cosmos DB