Die Produkte von OpenAI basieren auf Habitat, der Online-Speicherplattform des Unternehmens, die über 1 Milliarde Nutzer in 40 geografischen Regionen innerhalb von Millisekunden bedienen muss. Um dieses Wachstum zu unterstützen und gleichzeitig Zuverlässigkeit, Leistung und Entwicklungsgeschwindigkeit zu verbessern, musste die Art und Weise, wie die Plattform entworfen und betrieben wird, grundlegend überdacht werden. Der Ansatz von OpenAI folgte einer klaren Reihenfolge: zuerst zuverlässig genug werden für geschäftskritischen Datenverkehr, dann schnell genug für globale Nutzer und schließlich im massiven Maßstab betreiben.
Diese zweiteilige Serie zeichnet die Entwicklung von Habitat nach, von einer einfachen Client-Bibliothek und einer Datenbank hin zu einer global verteilten Speicherplattform, die mehr als 500 Petabyte an Daten bereitstellt. Teil I behandelte den Wechsel von einem Python-Client zu einem Dienst und die Techniken, mit denen ein Python-basierter Dienst weit über das hinaus gebracht wurde, was viele als praktikabel erachten würden.
Teil II konzentriert sich auf die Skalierung der zugrunde liegenden Speicherkomponente, Azure Cosmos DB. In enger Zusammenarbeit mit dem Azure-Team fand OpenAI einen tragfähigen Mandantenansatz mit gemeinsam verwalteten Containern, der im massiven, globalen Maßstab hervorragende Leseleistung bietet.
Mandantenfähigkeit bringt Abwägungen mit sich. Single-Tenant-Systeme verringern den Wirkungsbereich von Störungen und vereinfachen die Verantwortlichkeit, sind aber teuer und führen häufig zu erheblicher Überdimensionierung. Multi-Tenant-Systeme bündeln das Know-how für die Bereitstellung, bringen jedoch das Problem des "lauten Nachbarn" mit sich, bei dem ein Mandant einen überproportional großen Anteil der Ressourcen verbraucht. OpenAI wechselte zwischen diesen Modellen, bevor es sich für einen Multi-Tenant-Container als Standard entschied, und erklärt, dass es sich mit der Mandantenfähigkeit noch am Anfang befinde.
Quelle: OpenAI Blog · Zusammengefasst von HeadlinesBriefing