HeadlinesBriefing favicon HeadlinesBriefing.com

Manticore Search fügt Vektor-Chunking hinzu

Hacker News •
×

Angenommen, Sie erstellen eine Suche über die interne Dokumentation Ihres Teams — Guides, Runbooks, Postmortems. Sie haben eine Tabelle mit Auto-Embeddings: Sie fügen Text ein, Manticore führt das Modell aus und füllt die Vektorspalte für Sie. Sie laden ein 4.000-Wörter-Dokument. Der Insert gelingt. Die Suche funktioniert. Außer dass das Modell ein 512-Token-Eingabefenster hat und dieses Dokument etwa 5.000 Tokens lang ist. Das Modell las die ersten 380 Wörter und verwarf die anderen 3.600.

Manticore handhabt dies nun in der Tabellendefinition: Fügen Sie chunk_strategy zur Vektorspalte in CREATE TABLE hinzu, und Manticore teilt jedes Dokument in Chunks auf, embeddet jeden Chunk und durchsucht alle. Fünf Strategien: truncate, mean, fixed, recursive, sentence. Ein Dokument bleibt ein Suchergebnis. Chunks konkurrieren einzeln, und Manticore gibt das Dokument einmal zurück, wobei knn_dist() die Distanz zum nächstgelegenen Chunk meldet. k zählt Dokumente, nicht Chunks.

Gemessen am Manticore-Handbuch (189 Seiten, ~298k Wörter): recall@5 stieg von 55,1 % auf 83,3 % und MRR von 0,44 auf 0,70, bei ~2,5× RAM und ~4× Ingest-Zeit. Abfragen werden nie gechunkt. Eine Abfrage ist kurz genug, um als Ganzes eingebettet zu werden; nur gespeicherte Dokumente werden aufgeteilt.