DuckDB 2.0 Alpha ist jetzt verfügbar und liefert signifikante Leistungsverbesserungen, insbesondere für S3-Abfragen. Auf einem M5-Laptop zeigte ein Abfrage 7,7 Sekunden im Vergleich zu 18,8 Sekunden in Version 1.5.5 — eine Steigerung von mehr als 2x. Der Schlüsselvorstoß ist asynchroner I/O, der Netzwerkdownloads von CPU-Entschlüsselungsarbeit trennt.
Anstatt dass Arbeiter sequenziell herunterladen, warten und entschlüsseln, verwendet Version 2.0 einen dedizierten Download-Pool, der Dutzende von Zeilengruppen im Flug hält, während Arbeiter sich ausschließlich auf Entschlüsselung konzentrieren. Dieser parallele Ansatz hält sowohl Netzwerk als auch CPU gleichzeitig beschäftigt. Der Test nutzte eine 2,2 GB Parquet-Datei aus S3 mit 228 Millionen Zeilen.
Nutzer, die Pipelines statt Datenbank-Engine bauen, werden den Unterschied am meisten bei der Arbeit mit Cloud-Speicher bemerken. Vollständiges Testing erfordert Verständnis von Datenform und Modellierungsansätzen. Führen Sie Ihre eigenen Benchmarks aus, bevor Sie Ergebnisse zitieren.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing