Lançamos o Neki ontem em prévia de plataforma. Para celebrar, testamos executar 1 milhão de consultas por segundo no Neki. Atingimos essa meta rapidamente em 5 shards e fomos além. A execução seguinte terminou com 512 shards executando 118 milhões de consultas por segundo com 1,22 PiB de dados.

O benchmark foi simples: uma seleção pontual de shard único, uma linha por consulta por chave primária. Sem escritas, joins ou consultas entre shards. A carga de trabalho de cada shard era isolada. Nossa meta era 200k QPS por shard, depois aumentar o cluster. Cinco shards, depois cinquenta, depois 512. Dez vezes os shards, dez vezes a taxa de transferência. Em 512, os shards ainda tinham folga, então cada um se estabilizou em 231k QPS.

Mantivemos 118.538.803 QPS por 16 minutos em 512 shards e 1,22 PiB de dados. Maior registro: 118.747.267. 512 shards, cada um com um primário Postgres em um r8g.16xlarge; 480 roteadores Neki em instâncias 8xlarge; latência p99 de 6,06 ms no roteador, 13,95 ms no cliente; 67 erros/s (~1 em 1,8 milhão); 15,8M de IOPS de leitura; mais de 2 Tb/s de rede.

Vale notar: os shards eram somente primários, sem réplicas; carga de trabalho somente leitura; sem failover durante a janela. Detalharemos a engenharia em um artigo futuro.

Entidades principais: Empresas: PlanetScale, Neki