Dan Harrison (Engenheiro) anunciou que o turbopuffer está mudando sua arquitetura de armazenamento com turbopuffer v3. O novo motor muda como documentos e índices são dispostos, escritos, compactados e consultados, permitindo muitos mais planos de consulta em escala muito maior. O turbopuffer foi lançado como um banco de dados vetorial sem servidor, com armazenamento de objetos como fonte da verdade para economia e caches NVMe SSD/memória em camadas para desempenho. Isso foi validado pelos primeiros clientes, incluindo Cursor e Notion.
Com o tempo, o turbopuffer evoluiu para um banco de dados generalizado para busca, suportando filtragem de atributos e busca de texto completo. O motor de consulta evoluiu, mas a arquitetura de armazenamento permaneceu centrada no índice ANN como índice primário. Agora, eles estão migrando para um novo índice primário, tornando ANN "apenas mais um" índice secundário.
Na v1, os documentos eram apenas um ID e um vetor, usando um índice de agrupamento hierárquico. A v2 adicionou filtragem de atributos via índices invertidos e busca de texto completo. A equipe compartilhará atualizações durante a transição. "Empurramos o índice ANN primário o mais longe que pudemos, mas é hora de seguir em frente."
Fonte: Hacker News · Resumido por HeadlinesBriefing