この pull request は、ClickBench ベンチマークから pgrust のエントリを削除します。このエントリが報告する結果は、43 個の ClickBench クエリ専用に書かれた仕組みから得られたものであり、そのホットランは前回の実行でキャッシュされた回答を再生しています。どちらもベンチマークのルールに違反します。ルールでは、クエリ結果のキャッシュやパイプライン終盤近くのキャッシュを無効にすることが求められています。さらに、このエントリはチューニングされていないとタグ付けされていますが、実際には正確にこれらのクエリ向けにチューニングされています。
作成者は、公開された v0.4-preview リリースのバイナリと、公開されている v0.3 のソースで主張を検証しました。aarch64 のバイナリには、ベンチマークのクエリごとに手書きされたカーネルのソースパスが埋め込まれており、プランマッチャーにはベンチマーク名を含むエラーメッセージが現れます。v0.3 のソースは 43 個すべてのクエリについて手作業で下位化された物理プランを記述しており、いくつかのクエリはデータをスキャンせず、パーティションごとの統計から答えを返しています。
96 コアの Graviton マシンでのローカル測定では、ホットランの時間は実際の実行ではなく、再生された判定結果を反映していることが分かりました。コールドで 10.8 秒かかった部分文字列クエリは、繰り返し実行すると約 5 ミリ秒で終わりました。このようなスキャンに対するエンジンの真のウォーム速度は数百ミリ秒であり、同じハードウェア上の ClickHouse に近い値です。設定でキャッシュ設定を無効にしても、繰り返しクエリの高速化は止まりません。
既知の 43 種類の形状以外のクエリは拒否され、エンジンには列指向テーブルに対する汎用の実行経路がありません。今回の削除は、ベンチマーク結果の比較可能性と公正さを保つことを目的としています。
出典: Hacker News · 要約：HeadlinesBriefing