HeadlinesBriefing favicon HeadlinesBriefing.com

Habitat d'OpenAI : 70M req/s pour 1Md d'utilisateurs

OpenAI Blog •
×

Chaque produit OpenAI repose sur un accès aux données rapide et fiable—que ce soit pour se connecter, vérifier les paramètres de Codex ou démarrer une conversation ChatGPT. Chaque action peut nécessiter de nombreuses recherches distinctes. Les requêtes lentes donnent l'impression que le produit est lent ; les requêtes échouées l'arrêtent complètement. Habitat est la plateforme de stockage en ligne conçue pour que les produits OpenAI puissent accéder rapidement et de manière fiable aux informations nécessaires.

Habitat gère désormais plus de 70 millions de requêtes chaque seconde, prenant en charge des produits utilisés par plus d'1 milliard de personnes chaque semaine dans près de 40 régions géographiques. Il y a deux ans, il a commencé comme une simple bibliothèque cliente Python connectée à une seule base de données. Aujourd'hui, c'est un système distribué complexe servant plus de 500 pétaoctets de données.

Construire à cette échelle n'est pas une mince affaire, mais ce qui a rendu notre situation unique, c'est le rythme de mise à l'échelle sans précédent. Nous avons connu une croissance de plus de 10x d'une année sur l'autre au cours des trois dernières années. Habitat a évolué : d'abord en devenant fiable pour le trafic critique, puis suffisamment rapide pour les utilisateurs mondiaux, et enfin en fonctionnant à une échelle massive.

Cet article est le premier d'une série en deux parties. Nous partagerons comment Habitat a évolué, pourquoi nous l'avons transformé d'une bibliothèque en un service, et comment nous avons étendu une pile de service basée sur Python en une couche de plateforme de stockage fiable. Un prochain article détaillera la fiabilité multi-locataires, l'optimisation des performances de lecture et la mise à l'échelle de notre partenariat avec Azure Cosmos DB.

Entités clés : Entreprises : OpenAI, Azure Cosmos DB

FAQ : Qu'est-ce que Habitat dans l'infrastructure d'OpenAI ?

Habitat est la plateforme de stockage en ligne d'OpenAI qui permet aux produits d'accéder rapidement et de manière fiable aux informations nécessaires, gérant plus de 70 millions de requêtes par seconde pour plus d'un milliard d'utilisateurs hebdomadaires.

FAQ Q : Qu'est-ce que Habitat dans l'infrastructure d'OpenAI ?

FAQ A : Habitat est la plateforme de stockage en ligne d'OpenAI qui permet aux produits d'accéder rapidement et de manière fiable aux informations nécessaires, gérant plus de 70 millions de requêtes par seconde pour plus d'un milliard d'utilisateurs hebdomadaires.