Каждый продукт OpenAI зависит от быстрого и надёжного доступа к данным — будь то вход в систему, проверка настроек Codex или начало разговора с ChatGPT. Каждое действие может требовать множества отдельных запросов. Медленные запросы заставляют продукт казаться медленным; неудачные запросы полностью его останавливают. Habitat — это платформа онлайн-хранения, созданная для того, чтобы продукты OpenAI могли быстро и надёжно получать доступ к необходимой информации.

Сейчас Habitat обрабатывает более 70 миллионов запросов каждую секунду, поддерживая продукты, которыми пользуются более 1 миллиарда человек каждую неделю почти в 40 географических регионах. Два года назад он начинался как простая клиентская библиотека Python, подключённая к одной базе данных. Сегодня это сложная распределённая система, обслуживающая более 500 петабайт данных.

Строить в таком масштабе — непростая задача, но уникальность нашей ситуации заключается в беспрецедентной скорости масштабирования. За последние три года мы выросли более чем в 10 раз год к году. Habitat развивался: сначала стал надёжным для критически важного трафика, затем достаточно быстрым для глобальных пользователей и, наконец, работающим в огромном масштабе.

Этот пост — первый в серии из двух частей. Мы расскажем, как развивался Habitat, почему мы превратили его из библиотеки в сервис и как мы расширили стек обслуживания на основе Python до надёжного слоя платформы хранения. В будущем посте будут подробно описаны надёжность мультитенантности, оптимизация производительности чтения и масштабирование нашего партнёрства с Azure Cosmos DB.

Ключевые сущности: Компании: OpenAI, Azure Cosmos DB