HeadlinesBriefing HeadlinesBriefing.com

RIP, basis data vektor

Hacker News •
×

Dan Harrison (Insinyur) mengumumkan bahwa turbopuffer mengubah arsitektur penyimpanannya dengan turbopuffer v3. Mesin baru mengubah bagaimana dokumen dan indeks ditata, ditulis, dipadatkan, dan di-kueri, memungkinkan lebih banyak rencana kueri pada skala yang jauh lebih besar. turbopuffer diluncurkan sebagai basis data vektor tanpa server, dengan penyimpanan objek sebagai sumber kebenaran untuk ekonomi dan cache NVMe SSD/memori berjenjang untuk kinerja. Ini divalidasi oleh pelanggan awal termasuk Cursor dan Notion.

Seiring waktu, turbopuffer berevolusi menjadi basis data umum untuk pencarian, mendukung pemfilteran atribut dan pencarian teks lengkap. Mesin kueri berevolusi, tetapi arsitektur penyimpanan tetap berpusat pada indeks ANN sebagai indeks utama. Sekarang, mereka beralih ke indeks utama baru, menjadikan ANN "hanya" indeks sekunder lainnya.

Di v1, dokumen hanya berupa ID dan vektor, menggunakan indeks pengelompokan hierarkis. v2 menambahkan pemfilteran atribut melalui indeks terbalik dan pencarian teks lengkap. Tim akan membagikan pembaruan selama transisi. "Kami telah mendorong indeks ANN utama sejauh mungkin, tetapi sudah waktunya untuk melanjutkan."

Sumber: Hacker News · Diringkas oleh HeadlinesBriefing