Этот pull request удаляет запись pgrust из бенчмарка ClickBench. Результаты, которые указывает эта запись, получены с помощью механизма, написанного специально для 43 запросов ClickBench, а её горячие запуски воспроизводят закэшированные ответы предыдущего запуска. Оба этих приёма нарушают правила бенчмарка, которые требуют отключать кэши результатов запросов и кэши ближе к концу конвейера. Кроме того, запись помечена как не настроенная, хотя она настроена именно под эти запросы.
Автор проверил эти утверждения по опубликованному бинарному файлу релиза v0.4-preview и открытому исходному коду v0.3. Бинарный файл aarch64 содержит пути к исходному коду для одного написанного вручную ядра на каждый запрос бенчмарка, а в сопоставителях планов присутствуют сообщения об ошибках с названием бенчмарка. Исходный код v0.3 описывает физические планы, написанные вручную для всех 43 запросов, и несколько запросов получают ответ из статистики по частям без сканирования данных.
Локальные измерения на машине Graviton с 96 ядрами показывают, что время горячих запусков отражает воспроизведённые вердикты, а не реальное выполнение. Подстрочный запрос, который при холодном запуске занял 10,8 секунды, при повторении выполнялся примерно за 5 миллисекунд. Реальная скорость движка на горячем запуске такого сканирования составляет несколько сотен миллисекунд, что близко к ClickHouse на том же оборудовании. Отключение настроек кэша в конфигурации не останавливает ускорение повторных запросов.
Запросы, не входящие в 43 известные формы, отклоняются, а у движка нет общего пути выполнения для колоночной таблицы. Удаление призвано сохранить сопоставимость и честность результатов бенчмарка.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing