HeadlinesBriefing HeadlinesBriefing.com

PlanetScale recherche textuelle performance

Hacker News •
×

Par Ming Ying le 1 octobre 2026 Il y a deux semaines, Planet Scale a dévoilé TIN, une extension de recherche en texte intégral pour Postgres. Leur article de lancement a rapporté des gains de performance impressionnants par rapport à un sous-ensemble des fonctionnalités de recherche textuelle de Parade DB, en particulier la recherche textuelle classée BM25 et les décomptes de documents. Nous aimerions féliciter l'équipe de Planet Scale. C'est formidable de voir une autre plateforme Postgres investir dans la recherche, et il est clair que beaucoup d'ingénierie réfléchie a été consacrée à TIN.

Soyons très clairs sur une chose : TIN est rapide (au moins 8x plus rapide que Parade DB 0.25 dans chaque benchmark Planet Scale). Si rapide que la seule réponse qui avait du sens était de se taire et d'enfiler nos chapeaux d'optimisation des performances. Deux semaines plus tard, voici l'avant et l'après classés BM25, utilisant le même ensemble de données de benchmark Stack Exchange, le même harnais et les mêmes types de machines.

Ce qui est intéressant n'est pas que nous ayons rapidement comblé l'écart, mais comment nous l'avons comblé. L'article de TIN affirme que leurs performances sont dues à une différence architecturale fondamentale qui utilise les champs ctid internes de Postgres comme identifiants de documents. Cependant, nous avons comblé cet écart grâce à quelques passes d'optimisation qui avaient peu à voir avec la façon dont les documents sont identifiés.

Le cœur de tout index de recherche textuelle est une liste de publications. Tantivy, la bibliothèque de recherche derrière Parade DB, utilise des identifiants de document u32 séquentiels pour ses publications. Postgres identifie ses lignes par des valeurs ctid. Le point crucial de l'article de TIN est que l'utilisation directe des valeurs ctid comme identifiants de documents élimine cette carte et permet des opérations bitmap efficaces et des vérifications de visibilité. Pour les requêtes BM25 Top K, nous étions sceptiques.

Source: Hacker News · Résumé par HeadlinesBriefing