Dan Harrison (Ingenieur) kündigte an, dass turbopuffer seine Speicherarchitektur mit turbopuffer v3 ändert. Die neue Engine ändert, wie Dokumente und Indizes angelegt, geschrieben, komprimiert und abgefragt werden, und ermöglicht viel mehr Abfragepläne in viel größerem Maßstab. turbopuffer wurde als serverlose Vektordatenbank gestartet, mit Objektspeicher als Quelle der Wahrheit für die Wirtschaftlichkeit und gestuften NVMe-SSD-/Speicher-Caches für die Leistung. Dies wurde von frühen Kunden wie Cursor und Notion bestätigt.
Im Laufe der Zeit entwickelte sich turbopuffer zu einer verallgemeinerten Datenbank für die Suche, die Attributfilterung und Volltextsuche unterstützt. Die Abfrage-Engine entwickelte sich weiter, aber die Speicherarchitektur blieb auf den ANN-Index als primären Index ausgerichtet. Jetzt wechseln sie zu einem neuen primären Index und machen ANN zu "nur einem weiteren" sekundären Index.
In v1 bestanden Dokumente nur aus einer ID und einem Vektor, die einen hierarchischen Cluster-Index verwendeten. v2 fügte Attributfilterung über invertierte Indizes und Volltextsuche hinzu. Das Team wird während des Übergangs Updates teilen. "Wir haben den primären ANN-Index so weit wie möglich vorangetrieben, aber es ist Zeit, weiterzugehen."
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing