Вчера мы выпустили Neki в предварительной версии платформы. Чтобы отпраздновать это, мы протестировали выполнение 1 миллиона запросов в секунду на Neki. Мы быстро достигли этой цели на 5 шардах и пошли дальше. Следующий запуск завершился с 512 шардами, выполняющими 118 миллионов запросов в секунду с 1,22 PiB данных.

Бенчмарк был простым: точечный select на одном шарде, одна строка на запрос по первичному ключу. Никаких записей, соединений или межшардовых запросов. Нагрузка каждого шарда была изолирована. Наша цель составляла 200 тыс. QPS на шард, затем рост кластера. Пять шардов, затем пятьдесят, затем 512. В десять раз больше шардов — в десять раз больше пропускная способность. На 512 шардах ещё был запас, поэтому каждый стабилизировался на 231 тыс. QPS.

Мы поддерживали 118 538 803 QPS в течение 16 минут на 512 шардах и 1,22 PiB данных. Наибольшая запись: 118 747 267. 512 шардов, каждый с одним первичным Postgres на r8g.16xlarge; 480 маршрутизаторов Neki на инстансах 8xlarge; задержка p99 6,06 мс на маршрутизаторе, 13,95 мс на клиенте; 67 ошибок/с (~1 из 1,8 млн); 15,8 млн IOPS чтения; более 2 Тбит/с сети.

Стоит отметить: шарды были только первичными, без реплик; нагрузка только на чтение; без отказоустойчивого переключения в течение окна. Мы подробно опишем инженерию в будущей статье.

Ключевые сущности: Компании: PlanetScale, Neki