Agen AI beralih dari demo ke produksi, dan mereka membutuhkan lebih dari sekadar model. Mereka membutuhkan data real-time, jawaban cepat, dan batasan ketat tentang apa yang dapat mereka baca, tulis, dan tindak lanjuti. Pada Agentic Data Summit tanggal 9 Desember, sesi Guardrails, Not Guesswork menunjukkan cara mengunci akses agen dengan Agentic Data Plane. Anda juga akan melihat bagaimana streaming, SQL, dan agen berjalan pada satu platform, dan mendapatkan gambaran ke mana arah Agentic Data Plane selanjutnya. Gratis, virtual, dan dirancang untuk para insinyur yang membawa agen AI ke produksi.
Kita dapat memberikan informasi yang lengkap kepada LLM melalui prompt kita, tetapi ia masih bisa gagal menggunakannya dengan benar. Ketika informasi yang diperlukan berada di suatu tempat di tengah prompt yang panjang, jenis kegagalan ini menjadi lebih mungkin terjadi. Kami menyebutnya efek 'hilang di tengah' atau titik buta LLM. Sebagai contoh, bayangkan kita memberikan asisten pengkodean berbasis AI sebuah koleksi panjang dokumen proyek. Satu paragraf spesifik menjelaskan bahwa log audit harus disimpan selama 37 hari. Namun, asisten pengkodean menulis fungsi pembersihan yang menghapusnya setelah 30 hari.
Sebuah studi bernama 'Lost in the Middle', dirilis pada 2023 dan diterbitkan pada 2024, mempelajari perilaku ini dan menemukan bahwa kinerja sering kali paling kuat di dekat awal dan akhir. Namun, kinerja di tengah lebih lemah. Ini menghasilkan kurva akurasi berbentuk U. Jika informasi berada di dekat awal, LLM menunjukkan akurasi yang lebih tinggi, biasanya terkait dengan bias primasi. Jika informasi berada di dekat akhir, LLM...
Sumber: ByteByteGo · Diringkas oleh HeadlinesBriefing