Wir haben Neki gestern in der Plattform-Vorschau veröffentlicht. Um dies zu feiern, haben wir getestet, 1 Million Abfragen pro Sekunde auf Neki auszuführen. Wir erreichten dieses Ziel schnell auf 5 Shards und gingen weiter. Der nächste Lauf endete mit 512 Shards, die 118 Millionen Abfragen pro Sekunde mit 1,22 PiB Daten ausführten.

Der Benchmark war einfach: ein Single-Shard-Point-Select, eine Zeile pro Abfrage nach Primärschlüssel. Keine Schreibvorgänge, Joins oder Cross-Shard-Abfragen. Die Arbeitslast jedes Shards war isoliert. Unser Ziel waren 200k QPS pro Shard, dann das Cluster wachsen lassen. Fünf Shards, dann fünfzig, dann 512. Zehnmal so viele Shards, zehnmal so viel Durchsatz. Bei 512 hatten die Shards noch Spielraum, also pendelte sich jeder bei 231k QPS ein.

Wir hielten 118.538.803 QPS 16 Minuten lang über 512 Shards und 1,22 PiB Daten aufrecht. Höchste Aufzeichnung: 118.747.267. 512 Shards, jeder mit einem Postgres-Primary auf einem r8g.16xlarge; 480 Neki-Router auf 8xlarge-Instanzen; p99-Latenz 6,06 ms am Router, 13,95 ms am Client; 67 Fehler/Sek. (~1 von 1,8 Millionen); 15,8 Mio. Lese-IOPS; über 2 Tb/s Netzwerk.

Bemerkenswert: Die Shards waren nur Primaries, keine Replicas; Read-Only-Workload; kein Failover während des Fensters. Wir werden die Technik in einem zukünftigen Artikel detailliert beschreiben.

Wichtige Entitäten: Unternehmen: PlanetScale, Neki