Продукты OpenAI опираются на Habitat — её платформу онлайн-хранения, которая должна отвечать за миллисекунды более чем 1 миллиарду пользователей в 40 географических регионах. Чтобы поддерживать такой рост и одновременно повышать надёжность, производительность и скорость работы разработчиков, потребовалось пересмотреть то, как платформа проектируется и эксплуатируется. Подход OpenAI следовал чёткой последовательности: сначала стать достаточно надёжной для критически важного трафика, затем достаточно быстрой для глобальных пользователей и, наконец, работать в огромном масштабе.
Эта серия из двух частей прослеживает эволюцию Habitat — от простой клиентской библиотеки и базы данных до глобально распределённой платформы хранения, обслуживающей более 500 петабайт данных. Часть I рассказывала о переходе от Python-клиента к сервису и о методах, которые вывели Python-сервис далеко за пределы того, что многие сочли бы практичным.
Часть II посвящена масштабированию базового компонента хранения — Azure Cosmos DB. Работая в тесном сотрудничестве с командой Azure, OpenAI нашла жизнеспособный подход к мультиарендности с помощью совместно управляемых контейнеров, обеспечивающий отличную производительность чтения в массовом глобальном масштабе.
Мультиарендность несёт компромиссы. Однoарендные системы уменьшают радиус поражения и упрощают владение, но они дороги и часто приводят к значительному избыточному выделению ресурсов. Многоарендные системы централизуют экспертизу по provisioning, но создают проблему «шумного соседа», когда один арендатор потребляет непропорционально большую долю ресурсов. OpenAI переключалась между этими моделями, прежде чем остановиться на многоарендном контейнере по умолчанию, и говорит, что её путь в мультиарендности всё ещё только начинается.
Источник: OpenAI Blog · Сводку подготовил HeadlinesBriefing