DuckDB 2.0 alpha est maintenant disponible et apporte des améliorations de performance significatives, particulièrement pour les requêtes S3. Sur un laptop M5, une requête a pris 7,7 secondes contre 18,8 secondes dans la version 1.5.5 — une accélération de plus de 2x. L'avancement clé est l'E/S asynchrone, qui sépare les downloads réseau du travail de décodage CPU.
Au lieu que les workers download, attendent et décodent séquentiellement, la version 2.0 utilise un pool de download dédié qui garde des dizaines de row groups en vol tandis que les workers se concentrent uniquement sur le décodage. Cette approche parallèle garde le réseau et le CPU occupés simultanément. Le test a utilisé un fichier Parquet de 2,2 GB depuis S3 contenant 228 millions de lignes.
Les utilisateurs construisant des pipelines plutôt que des moteurs de base de données remarqueront la différence lorsqu'ils travaillent avec le stockage cloud. Le test complet nécessite de comprendre la forme des données et les approches de modélisation. Exécutez vos propres benchmarks avant de citer les résultats.
Source: Hacker News · Résumé par HeadlinesBriefing