OpenAIの製品は、オンラインストレージプラットフォームであるHabitatに依存しており、40の地理的リージョンにまたがる10億人を超えるユーザーに対して、ミリ秒単位で応答しなければなりません。この成長を支えつつ、信頼性、パフォーマンス、開発者の生産性を向上させるには、プラットフォームの設計と運用の在り方を見直す必要がありました。OpenAIのアプローチは明確な順序に従いました。まずミッションクリティカルなトラフィックを扱えるほど信頼性を高め、次にグローバルなユーザーに応えられるほど高速化し、最後に大規模な運用を行うというものです。
この2部構成のシリーズでは、単純なクライアントライブラリとデータベースから、500ペタバイトを超えるデータを提供するグローバルに分散されたストレージプラットフォームへと、Habitatが進化してきた過程を追います。第1部では、Pythonクライアントからサービスへの移行と、多くの人が実用的とは考えないほどPythonベースのサービスを押し広げた技術について取り上げました。
第2部では、基盤となるストレージコンポーネントであるAzure Cosmos DBの拡張に焦点を当てます。Azureチームと緊密に連携しながら、OpenAIは共同管理されるコンテナを用いた、実現可能なマルチテナント方式にたどり着き、大規模かつグローバルな環境で優れた読み取り性能を実現しました。
マルチテナントにはトレードオフがあります。シングルテナントのシステムは障害の影響範囲を小さくし、所有権の管理を単純にしますが、コストがかさみ、大幅なオーバープロビジョニングを招きがちです。マルチテナントのシステムはプロビジョニングの専門知識を集約しますが、特定のテナントが資源を不釣り合いに消費する「ノイジーネイバー」の問題を引き起こします。OpenAIはこれらのモデルの間を行き来した末、既定としてマルチテナントのコンテナを採用することに落ち着きました。ただし同社は、マルチテナントへの取り組みはまだ初期段階にあると述べています。
出典: OpenAI Blog · 要約：HeadlinesBriefing