Artikel ini menggambarkan delapan strategi chunking yang digunakan dalam sistem retrieval-augmented generation (RAG) untuk meningkatkan cara model bahasa besar memproses teks. Chunking ukuran tetap membagi teks menjadi blok token seragam dengan tumpang tindih. Chunking rekursif membagi berdasarkan paragraf, kemudian baris, kata, dan karakter sesuai kebutuhan.
Chunking berbasis dokumen menggunakan istirahat struktural existing seperti heading atau tag HTML. Chunking semantik menggabungkan kalimat dan memulai chunk baru ketika kesamaan menurun, mendeteksi perubahan topik yang sebenarnya. Chunking berbasis LLM menggunakan LLM untuk menulis ulang teks menjadi proposisi mandiri, satu ide per chunk—kualitas tinggi tapi mahal.
Chunking agent memungkinkan agen AI mengklasifikasikan dokumen (misalnya, code, kontrak) dan memilih metode optimal per file. Chunking akhir menjalankan seluruh dokumen melalui model embedding sebelum membagi dan mean-pooling dalam batasan. Chunking hierarkis menciptakan struktur berlapis dari bagian ke kalimat.
Bagian ini juga menyentuh singkat topik terkait seperti arsitektur Google Translate, workflow keterampilan agent, dan desain berbasis proses PostgreSQL, diakhiri dengan pertanyaan reflektif untuk pembaca.
Sumber: ByteByteGo · Diringkas oleh HeadlinesBriefing