Pull request ini menghapus entri pgrust dari benchmark ClickBench. Hasil yang dilaporkan entri tersebut berasal dari mekanisme yang ditulis khusus untuk 43 kueri ClickBench, dan hot run-nya memutar ulang jawaban tersimpan dari run sebelumnya. Kedua hal ini melanggar aturan benchmark, yang mewajibkan penonaktifan cache hasil kueri dan cache di dekat akhir pipeline. Entri ini juga diberi label tidak di-tuning, padahal sebenarnya di-tuning untuk kueri-kueri persis tersebut.
Penulis memverifikasi klaim ini terhadap binary rilis v0.4-preview yang dipublikasikan dan kode sumber v0.3 yang publik. Binary aarch64 menyematkan path kode sumber untuk satu kernel tulisan tangan per kueri benchmark, dan pesan galat yang diberi nama sesuai benchmark muncul dalam pencocok rencana eksekusinya. Kode sumber v0.3 menggambarkan rencana fisik yang ditulis tangan untuk seluruh 43 kueri, dan beberapa kueri dijawab dari statistik per partisi tanpa memindai data.
Pengukuran lokal pada mesin Graviton 96 core menunjukkan bahwa waktu hot run mencerminkan putusan yang diputar ulang, bukan eksekusi sebenarnya. Sebuah kueri substring yang memakan waktu 10,8 detik saat cold berjalan sekitar 5 milidetik ketika diulang. Kecepatan warm sebenarnya dari mesin untuk pemindaian semacam ini adalah beberapa ratus milidetik, mendekati ClickHouse pada perangkat keras yang sama. Menonaktifkan pengaturan cache dalam konfigurasi tidak menghentikan percepatan kueri yang diulang.
Kueri di luar 43 bentuk yang dikenal ditolak, dan mesin tidak memiliki jalur eksekusi umum untuk tabel kolumnar. Penghapusan ini dimaksudkan untuk menjaga hasil benchmark tetap dapat dibandingkan dan jujur.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing