Eric, pendiri Consus, telah meluncurkan gateway LLM yang dirancang untuk perusahaan yang menangani data sensitif. Consus mengarahkan permintaan AI ke infrastruktur yang mematuhi pembatasan ITAR dan informasi tidak terklasifikasi terkendali (CUI). Perusahaan menyatakan bahwa mereka memenuhi pembatasan ITAR dan baru-baru ini menyelesaikan audit kesetaraan FedRAMP terhadap 410 kontrol FedRAMP High, standar keamanan paling ketat dari pemerintah AS untuk layanan cloud yang menangani data tidak terklasifikasi yang sensitif.
Eric menghabiskan sebagian besar kariernya di bidang kedirgantaraan dan pertahanan, meluncurkan muatan keamanan nasional di SpaceX dan bekerja sebagai karyawan awal di Castelion. Ia mengatakan bahwa persyaratan kepatuhan sering menghentikan perusahaan dari mengadopsi AI, meskipun mereka menyadari nilainya. Beberapa perusahaan khawatir penyedia model akan melatih model dengan data mereka, melanggar aturan ITAR, atau kehilangan bisnis setelah penilaian keamanan siber yang gagal.
Consus berfungsi sebagai lapisan inferensi yang patuh, yang terhubung dengan alat seperti ChatGPT, Claude, Open WebUI, dan agen pemrograman Pi, serta aplikasi kustom. Setiap permintaan melewati satu endpoint yang kompatibel dengan OpenAI, tempat kunci diverifikasi dan kebijakan diterapkan. Nama model harus memiliki akhiran kepatuhan, seperti gpt-5.6-sol:fedramp-high, dan nama model tanpa akhiran akan ditolak. Pelanggan dapat membuat daftar izin model serta menetapkan batas pengeluaran dan pembatasan model per pengguna melalui Consus Portal.
Perusahaan berargumen bahwa sedikit perusahaan kedirgantaraan dan pertahanan yang menggunakan ketiga GovCloud utama (AWS, Azure, dan Google), dan bahwa model tersebar di berbagai penyedia. Consus menjalankan lingkungan-lingkungan ini di balik satu endpoint dan menangani pekerjaan kepatuhan untuk masing-masing. Perusahaan juga menyatakan tidak menyimpan data pelanggan saat diam (at rest); prompt dan hasil hanya disimpan dalam memori selama setiap permintaan berlangsung.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing