Sekarang siapa pun bisa membuat demo LLM dengan sekadar satu panggilan API. Membuat fitur yang sama bertahan di hadapan pengguna nyata, data nyata, dan tagihan nyata adalah pekerjaan yang berbeda. Pekerjaan itu mengurangi ke lima keterampilan yang muncul di hampir setiap sistem produksi yang pernah saya kerjakan atau tinjau: pengambilan, perutean, guardrails, evaluasi, dan loop agen.

Masing-masing menjawab pertanyaan yang tidak bisa ditangani oleh model frontier sendi. Di mana data perusahaan saya berasal? Mengapa tagihan ini begitu tinggi? Apa yang terjadi ketika seseorang mengirimkan prompt yang bersifat menyerang? Apakah perubahan terakhir saya membuat hal-hal lebih baik atau lebih buruk? Bagaimana cara membuat model melakukan pekerjaan multi-langkah tanpa jatuh? Keterampilan #1: RAG, menanamkan model dalam data Anda sendiri Model dasar tidak mengetahui dokumen perusahaan Anda, dan menyesuaikan diri setiap kali mereka berubah lambat dan mahal. Generasi yang Diperkaya Pengambilan (RAG) mengambil dokumen yang relevan pada waktu kueri dan meneruskannya ke model sebagai konteks.

Ini masih pola LLM yang paling umum dalam produksi dan biasanya hal pertama yang diajarkan oleh suatu kurikulum. Pekerjaan yang menarik ada di pengambilan. Apakah Anda mengembalikan potongan yang benar tergantung pada bagaimana Anda membagi dokumen (chunking), apakah Anda menggabungkan pencarian kata kunci dan semantik (pengambilan hibrida), dan apakah Anda mengurutkan kembali hasil sebelum mereka mencapai model (reranking).

Keterampilan #2: Perutean Model: Membayar untuk model yang dibutuhkan oleh tugas Mengirimkan setiap permintaan ke model frontier adalah cara tercepat untuk sampai ke tagihan yang tidak bisa dijelaskan oleh siapa pun. Perutean mengirimkan permintaan mudah dengan volume tinggi ke model kecil atau lokal dan menyimpan model mahal untuk yang sulit. Menambahkan cache untuk prompt yang berulang dilaporkan mengurangi 40% hingga 70% dari tagihan inferensi produksi, yang adalah mengapa perutean berubah dari trik lanjutan menjadi ekspektasi dasar.

Keterampilan ini adalah memberi skor pada sebuah permintaan dan memilih tingkatnya.