Cada producto de OpenAI depende de un acceso a datos rápido y confiable, ya sea al iniciar sesión, revisar la configuración de Codex o iniciar una conversación de ChatGPT. Cada acción puede requerir muchas búsquedas separadas. Las solicitudes lentas hacen que el producto se sienta lento; las solicitudes fallidas lo detienen por completo. Habitat es la plataforma de almacenamiento en línea construida para que los productos de OpenAI puedan acceder rápida y confiablemente a la información necesaria.

Habitat ahora maneja más de 70 millones de solicitudes cada segundo, apoyando productos utilizados por más de 1000 millones de personas cada semana en casi 40 regiones geográficas. Hace dos años, comenzó como una simple biblioteca cliente de Python conectada a una única base de datos. Hoy, es un complejo sistema distribuido que sirve más de 500 petabytes de datos.

Construir a esta escala no es una hazaña fácil, pero lo que hizo única nuestra situación es la tasa de escalado sin precedentes. Hemos crecido más de 10 veces año tras año durante los últimos tres años. Habitat evolucionó: primero volviéndose confiable para el tráfico crítico, luego lo suficientemente rápido para usuarios globales, y finalmente operando a escala masiva.

Esta publicación es la primera de una serie de dos partes. Compartiremos cómo evolucionó Habitat, por qué lo convertimos de una biblioteca en un servicio, y cómo extendimos una pila de servicio basada en Python en una capa de plataforma de almacenamiento confiable. Una publicación futura detallará la confiabilidad multi-inquilino, la optimización del rendimiento de lectura y la escalabilidad de nuestra asociación con Azure Cosmos DB.

Entidades clave: Empresas: OpenAI, Azure Cosmos DB