Dieser Pull Request entfernt den pgrust-Eintrag aus dem ClickBench-Benchmark. Die vom Eintrag gemeldeten Ergebnisse stammen von einem Mechanismus, der speziell für die 43 ClickBench-Abfragen geschrieben wurde, und seine Warmläufe spielen zwischengespeicherte Antworten des vorherigen Laufs erneut ab. Beides verstößt gegen die Benchmark-Regeln, die verlangen, dass Ergebnis-Caches für Abfragen und Caches nahe dem Ende der Pipeline deaktiviert werden. Außerdem ist der Eintrag als nicht optimiert gekennzeichnet, obwohl er genau für diese Abfragen abgestimmt ist.
Der Autor hat die Behauptungen anhand des veröffentlichten Binärpakets der Version v0.4-preview und des öffentlichen Quellcodes von v0.3 überprüft. Das aarch64-Binärpaket enthält Quellpfade für einen handgeschriebenen Kernel pro Benchmark-Abfrage, und in den Plan-Matchern tauchen Fehlermeldungen auf, die nach dem Benchmark benannt sind. Der v0.3-Quellcode beschreibt handgesenkte physische Pläne für alle 43 Abfragen, und mehrere Abfragen werden aus Statistiken pro Partition beantwortet, ohne Daten zu scannen.
Lokale Messungen auf einer Graviton-Maschine mit 96 Kernen zeigen, dass die Warmlaufzeiten wiedergegebene Urteile widerspiegeln und keine echte Ausführung. Eine Teilstring-Abfrage, die kalt 10,8 Sekunden brauchte, lief bei Wiederholung in etwa 5 Millisekunden. Die tatsächliche Warmgeschwindigkeit der Engine für einen solchen Scan liegt bei einigen hundert Millisekunden und damit nahe an ClickHouse auf derselben Hardware. Das Deaktivieren der Cache-Einstellungen in der Konfiguration verhindert die Beschleunigung wiederholter Abfragen nicht.
Abfragen außerhalb der 43 bekannten Formen werden abgelehnt, und die Engine hat keinen allgemeinen Ausführungspfad für die spaltenorientierte Tabelle. Die Entfernung soll die Vergleichbarkeit und Ehrlichkeit der Benchmark-Ergebnisse sichern.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing