Respan, perusahaan dari batch Y Combinator W24, telah merilis gateway AI open-source yang ditulis dalam Rust. Pendirinya, Andy, menjelaskan bahwa gateway ini bersifat decoupled, artinya semuanya adalah plugin: penyedia seperti OpenAI, Anthropic, dan Gemini, protokol seperti MCP dan suara, modalitas termasuk gambar dan video, serta fitur gateway seperti fallback, redaksi PII, dan perutean cerdas.
Perusahaan menyatakan bahwa sebagian besar gateway LLM memecahkan masalah inti yang sama, yaitu memanggil banyak penyedia dari satu endpoint, tetapi menambahkan fitur baru menjadi semakin sulit. Respan mulai membangun di atas LiteLLM pada 2024. Ketika kode pembungkusnya melampaui 100.000 baris sementara melayani ribuan organisasi, pemeliharaan menjadi tidak berkelanjutan. Pembaruan rutin LiteLLM pada Januari menyebabkan error koneksi yang muncul sewaktu-waktu dan memaksa rollback, setelah itu tim mulai melakukan backport perbaikan upstream secara manual.
Terinspirasi oleh Nginx, Respan merancang inti kecil yang hanya bertugas mendistribusikan event. Pengembang dapat menambahkan penyedia atau fitur kustom sebagai plugin tanpa menyentuh inti. Tim tersebut menyebutkan bahwa sebuah penyedia dapat berupa satu file pendek, dan mengutip integrasi Mistral mereka yang hanya 22 baris. Gateway ini juga menerjemahkan antarformat API, misalnya memungkinkan aplikasi yang dibangun di atas OpenAI Realtime API menggunakan Gemini Live, meskipun tidak semua fitur dapat dipetakan secara setara.
Ketika klien dan penyedia menggunakan format yang sama dan tidak ada plugin yang memodifikasi payload, byte asli dan kolom khusus penyedia diteruskan tanpa perubahan.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing