Jedes OpenAI-Produkt ist auf schnellen, zuverlässigen Datenzugriff angewiesen—sei es beim Anmelden, beim Überprüfen der Codex-Einstellungen oder beim Starten einer ChatGPT-Konversation. Jede Aktion kann viele separate Abfragen erfordern. Langsame Anfragen lassen das Produkt langsam erscheinen; fehlgeschlagene Anfragen stoppen es vollständig. Habitat ist die Online-Speicherplattform, die entwickelt wurde, damit OpenAI-Produkte schnell und zuverlässig auf benötigte Informationen zugreifen können.

Habitat verarbeitet jetzt mehr als 70 Millionen Anfragen pro Sekunde und unterstützt Produkte, die von über 1 Milliarde Menschen pro Woche in fast 40 geografischen Regionen genutzt werden. Vor zwei Jahren begann es als einfache Python-Client-Bibliothek, die mit einer einzigen Datenbank verbunden war. Heute ist es ein komplexes verteiltes System, das mehr als 500 Petabyte an Daten bereitstellt.

Der Aufbau in dieser Größenordnung ist keine leichte Aufgabe, aber was unsere Situation einzigartig machte, ist die beispiellose Skalierungsrate. Wir sind in den letzten drei Jahren um mehr als das 10-fache Jahr für Jahr gewachsen. Habitat entwickelte sich: Zuerst wurde es zuverlässig für geschäftskritischen Datenverkehr, dann schnell genug für globale Nutzer und schließlich im massiven Maßstab betrieben.

Dieser Beitrag ist der erste in einer zweiteiligen Serie. Wir werden teilen, wie sich Habitat entwickelt hat, warum wir es von einer Bibliothek in einen Dienst umgewandelt haben und wie wir einen Python-basierten Serving-Stack zu einer zuverlässigen Speicherplattformschicht erweitert haben. Ein zukünftiger Beitrag wird die Multi-Tenancy-Zuverlässigkeit, die Optimierung der Leseleistung und die Skalierung unserer Partnerschaft mit Azure Cosmos DB detailliert beschreiben.

Wichtige Entitäten: Unternehmen: OpenAI, Azure Cosmos DB