Produk-produk OpenAI bergantung pada Habitat, platform penyimpanan daringnya, yang harus merespons dalam milidetik kepada lebih dari 1 miliar pengguna di 40 wilayah geografis. Untuk mendukung pertumbuhan ini sekaligus meningkatkan keandalan, performa, dan kecepatan pengembang, diperlukan pemikiran ulang tentang cara platform dirancang dan dioperasikan. Pendekatan OpenAI mengikuti urutan yang jelas: pertama menjadi cukup andal untuk lalu lintas berkritikalitas tinggi, kemudian cukup cepat untuk pengguna global, dan akhirnya beroperasi pada skala besar.
Seri dua bagian ini menelusuri evolusi Habitat dari pustaka klien dan basis data sederhana menjadi platform penyimpanan terdistribusi secara global yang melayani lebih dari 500 petabyte data. Bagian I membahas perpindahan dari klien Python ke layanan, serta teknik-teknik yang mendorong layanan berbasis Python jauh melampaui apa yang dianggap praktis oleh banyak orang.
Bagian II berfokus pada penskalaan komponen penyimpanan yang mendasarinya, yaitu Azure Cosmos DB. Bekerja sama erat dengan tim Azure, OpenAI menemukan pendekatan multi-tenancy yang layak melalui kontainer yang dikelola bersama, memberikan performa baca yang sangat baik pada skala global yang masif.
Multi-tenancy membawa pertukaran (trade-off). Sistem single-tenant mengurangi cakupan dampak dan menyederhanakan kepemilikan, tetapi mahal dan sering menyebabkan over-provisioning yang signifikan. Sistem multi-tenant memusatkan keahlian provisioning, tetapi menimbulkan masalah tetangga berisik (noisy-neighbor), di mana satu tenant menggunakan porsi sumber daya yang tidak proporsional. OpenAI bolak-balik di antara model-model ini sebelum akhirnya menetapkan kontainer multi-tenant sebagai default, dan menyatakan bahwa perjalanan multi-tenancy mereka masih di tahap awal.
Sumber: OpenAI Blog · Diringkas oleh HeadlinesBriefing