Why DuckDB 2.0 is faster

DuckDB 2.0 alpha is now available and delivers significant performance improvements, particularly for S3 queries. Testing on an M5 laptop showed 7.7 seconds for a query versus 18.8 seconds in version 1.5.5—a more than 2x speedup. The key advancement is async I/O, which separates network downloads from CPU decoding work.

Instead of workers sequentially downloading, waiting, and decoding, version 2.0 uses a dedicated download pool that keeps dozens of row groups in flight while workers focus solely on decoding. This parallel approach keeps both network and CPU busy simultaneously. The test used a 2.2 GB Parquet file from S3 containing 228 million rows.

Users building pipelines rather than database engines will notice the difference most when working with cloud storage. Full testing requires understanding data shape and modeling approaches. Run your own benchmarks before quoting results.

DuckDB 2.0 alpha الآن متاح ويقدم تحسينات أداء كبيرة، خصوصاً لاستفسارات S3. في اختبار على جهاز laptop M5، استغرقت استفسارة 7.7 ثانية مقارنة بـ 18.8 ثانية في الإصدار 1.5.5 — تحسين يفوق ضعف السرعة. التقدم الرئيسي هو E/O غير المتزامن، الذي يفصل تحميلات الشبكة عن عمل CPU الفك. بدل من أن يتمكن العمال من التحميل والانتظار والفك تباعياً، الإصدار 2.0 يستخدم حز تحميل مخصص يحافظ على dzine مجموعات خطوط في الطيران بينما يركز العمال فقط على الفك. هذا النهج المتوازي يبقي الشبكة والCPU مشغولين معاً. استخدم الاختبار على Parquet file بحجم 2.2 GB من S3 يحتوي على 228 مليونrow. سيلاحظ المستخدمون الذين يبنون pipes بدلاً من محركات قواعد البيانات الفرق أكثر عند العمل مع التخزين السحابي. يتطلب الاختبار الكامل فهم شكل البيانات ونماذج التخطيط. شغّل اختباراتك الخاصة قبل ذكر النتائج.

DuckDB 2.0 alpha এখন প্রকাশ্য এবং বিশে করে S3 কোয়েরিগুলোর জন্য উল্লেখযোগ্য প্রদর্শন উন্নতি আনেছে। M5 ল্যাপটপে পরীক্ষায়, একটি কোয়েরি 7.7 সেকেন্ড নিয়েছিল, অপরদিকে সংস্করণ 1.5.5-এ 18.8 সেকেন্ড নিয়েছিল — এটি 2x এর বেশি ত্বরণ। প্রাথমিক অগ্রগতি হলো অ্যাসিংক্রোনাস I/O, যা নেটওয়ার্ক ডাউনলোডকে CPU ডিকোডিং কাজ থেকে আলাদা করে। কর্মীরা অনুক্রমিতভাবে ডাউনলোড, অপেক্ষা এবং ডিকোডিং না করে, সংস্করণ 2.0 একটি বিশেষ ডাউনলোড পুল ব্যবহার করে যা দর্জনো রো গ্রুপকে উড়তে রাখে যখন কর্মীরা কেবল ডিকোডিং-এ মনোনিবেশ করে। এই সমানান্তর প্রস্থানটি নেটওয়ার্ক এবং CPU একসাথে সক্রিয় রাখে। পরীক্ষাটি S3 থেকে 2.2 GB এর Parquet ফাইল ব্যবহার করেছে যা 228 মিলিয়ন সারি ধারণ করে। ডাটাবেস ইঞ্জিনের পরিবর্তে পাইপলাইন তৈরি করা ব্যবহারকারীরা ক্লাউড স্টোরেজের সাথে কাজ করার সময় পার্থক্যটি সবচেয়ে বেশি অনুভূতি করবে। সম্পূর্ণ পরীক্ষার জন্য ডেটার আকার এবং মডেলিং প্রস্থান বোঝা প্রয়োজন। আপনার ফলাফলের উল্লেখ করার আগে আপনার নিজের বেঞ্চমার্ক চালান।

DuckDB 2.0 Alpha ist jetzt verfügbar und liefert signifikante Leistungsverbesserungen, insbesondere für S3-Abfragen. Auf einem M5-Laptop zeigte ein Abfrage 7,7 Sekunden im Vergleich zu 18,8 Sekunden in Version 1.5.5 — eine Steigerung von mehr als 2x. Der Schlüsselvorstoß ist asynchroner I/O, der Netzwerkdownloads von CPU-Entschlüsselungsarbeit trennt.

Anstatt dass Arbeiter sequenziell herunterladen, warten und entschlüsseln, verwendet Version 2.0 einen dedizierten Download-Pool, der Dutzende von Zeilengruppen im Flug hält, während Arbeiter sich ausschließlich auf Entschlüsselung konzentrieren. Dieser parallele Ansatz hält sowohl Netzwerk als auch CPU gleichzeitig beschäftigt. Der Test nutzte eine 2,2 GB Parquet-Datei aus S3 mit 228 Millionen Zeilen.

Nutzer, die Pipelines statt Datenbank-Engine bauen, werden den Unterschied am meisten bei der Arbeit mit Cloud-Speicher bemerken. Vollständiges Testing erfordert Verständnis von Datenform und Modellierungsansätzen. Führen Sie Ihre eigenen Benchmarks aus, bevor Sie Ergebnisse zitieren.

DuckDB 2.0 alpha ya está disponible y delivers mejoras significativas de rendimiento, especialmente para consultas S3. En una prueba con una laptop M5, una consulta tardó 7.7 segundos frente a 18.8 segundos en la versión 1.5.5 — una aceleración superior a 2x. El avance clave es la E/S asíncrona, que separa las descargas de red del trabajo de decodificación CPU.

En lugar de que los workers descarguen, esperen y decodifiquen secuencialmente, la versión 2.0 utiliza un pool de descarga dedicado que mantiene docenas de grupos de filas en vuelo mientras los workers se enfocan solo en decodificar. Este enfoque paralelo mantiene ocupados tanto la red como la CPU simultáneamente. La prueba usó un archivo Parquet de 2.2 GB desde S3 con 228 millones de filas.

Los usuarios que construyen pipelines en lugar de motores de base de datos notarán la diferencia más al trabajar con almacenamiento en la nube. La requisa completa requiere entender la forma de los datos y los enfoques de modelado. Ejecuta tus propios benchmarks antes de citar resultados.

DuckDB 2.0 alpha est maintenant disponible et apporte des améliorations de performance significatives, particulièrement pour les requêtes S3. Sur un laptop M5, une requête a pris 7,7 secondes contre 18,8 secondes dans la version 1.5.5 — une accélération de plus de 2x. L'avancement clé est l'E/S asynchrone, qui sépare les downloads réseau du travail de décodage CPU.

Au lieu que les workers download, attendent et décodent séquentiellement, la version 2.0 utilise un pool de download dédié qui garde des dizaines de row groups en vol tandis que les workers se concentrent uniquement sur le décodage. Cette approche parallèle garde le réseau et le CPU occupés simultanément. Le test a utilisé un fichier Parquet de 2,2 GB depuis S3 contenant 228 millions de lignes.

Les utilisateurs construisant des pipelines plutôt que des moteurs de base de données remarqueront la différence lorsqu'ils travaillent avec le stockage cloud. Le test complet nécessite de comprendre la forme des données et les approches de modélisation. Exécutez vos propres benchmarks avant de citer les résultats.

DuckDB 2.0 alpha अब उपलब्ध है और विशेष रूप से S3 क्वेरीज़ के लिए महत्वपूर्ण प्रदर्शन सुधार प्रदान करता है। एक M5 लैपटॉप पर किए गए परीक्षण में, एक क्वेरी में 7.7 सेकंड लगे, जबकि संस्करण 1.5.5 में 18.8 सेकंड लगे थे — यह 2x से अधिक तेजी है। प्रमुख एवंरेसमेंट एसिंक्रोनस I/O है, जो नेटवर्क डाउनलोड को CPU डिकोडिंग कार्य से अलग करता है। कार्यकर्ता अनुक्रमित रूप से डाउनलोड, प्रतीक्षा और डिकोडिंग न करके, संस्करण 2.0 एक विशेष डाउनलोड पूल का उपयोग करता है जो कार्यकर्ताओं के लिए केवल डिकोडिंग पर ध्यान केंद्रित करते हुए दर्जनों रोज़-ग्रुप को फ्लाइट में रखता है। यह समानांत दृष्टिकोण नेटवर्क और CPU दोनों को एक साथ लगातार व्यस्त रखता है। परीक्षण में S3 से 2.2 GB का Parquet फ़ाइल जिसमें 228 मिलियन पंक्तियाँ थीं, का उपयोग किया गया। डेटाबेस इंजन के बजाय पाइपलाइन बनाने वाले उपयोगकर्ताओं को क्लाउड स्टोरेज के साथ कार्य करते समय अंतर सबसे अधिक महसूस होगा। पूर्ण परीक्षण के लिए डेटा आकार और मॉडलिंग दृष्टिकोण को समझना आवश्यक है। अपने परिणामों के हवाले देने से पहले अपने खुद के बेंचमार्क चलाएँ।

DuckDB 2.0 alpha sekarang tersedia dan memberikan peningkatan kinerja yang signifikan, khususnya untuk query S3. Pada laptop M5, satu query mengambil 7,7 detik dibandingkan 18,8 detik pada versi 1.5.5 — peningkatan lebih dari 2x. Pencapaian kunci adalah I/O asinkron, yang memisahkan download jaringan dari pekerjaan decoding CPU.

Alih-alih worker secara sequential download, menunggu, dan decoding, versi 2.0 menggunakan pool download khusus yang menjaga puluhan grup baris dalam penerbangan sementara worker fokus hanya pada decoding. Pendekatan paralel ini menjaga jaringan dan CPU tetap sibuk secara bersamaan. Tes menggunakan file Parquet 2,2 GB dari S3 berisi 228 juta baris.

Pengguna yang membangun pipeline daripada engine database akan merasakan perbedaan paling saat bekerja dengan storage cloud. Testing penuh membutuhkan pemahaman bentuk data dan pendekatan pemodelan. Jalankan benchmark Anda sendiri sebelum mengutip hasil.

DuckDB 2.0 alphaが利用可能になり、特にS3クエリ对于で大幅なパフォーマンス向上を実現しました。M5ノートPCでのテストでは、あるクエリが7.7秒で完了し、バージョン1.5.5では18.8秒かかっていたため、2倍以上の高速化 became。关键的進歩は非同期I/Oで、ネットワークダウンロードとCPUデコード作業を分離しています。ワーカーが順次ダウンロード→待機→デコードを行うのではなく、バージョン2.0では専用のダウンロードプールを使用し、数十のローググループを並行して Flight させながら、ワーカーはデコード作業に集中します。この並列アプローチにより、ネットワークとCPUが同時に活用されます。テストでは、S3から2.2GBのParquetファイルを使用し、2.28億行を含んでいました。データベースエンジンではなくパイプラインを構築するユーザーは、クラウドストレージと連携する際に差異を最も感じます。完全なテストには、データの形状とモデル링アプローチを理解する必要があります。結果を引用する前に、自分のベンチマークを実行してください。

DuckDB 2.0 alpha já está disponível e entrega melhorias significativas de desempenho, particularmente para consultas S3. Em um laptop M5, uma consulta levou 7,7 segundos contra 18,8 segundos na versão 1.5.5 — uma aceleração superior a 2x. O avanço-chave é a E/S assíncrona, que separa downloads da rede do trabalho de decodificação CPU.

Em vez de workers baixarem, esperarem e decodificarem sequencialmente, a versão 2.0 usa um pool de download dedicado que mantém dezenas de row groups em voo enquanto os workers focam apenas em decodificar. Essa abordagem paralela mantém a rede e a CPU ocupadas simultaneamente. O testou um arquivo Parquet de 2,2 GB do S3 contendo 228 milhões de linhas.

Usuários construindo pipelines em vez de motores de banco de dados notarão a diferença ao trabalhar com armazenamento nuvem. Teste completo requer entender a forma dos dados e abordagens de modelagem. Execute seus próprios benchmarks antes de citar resultados.

DuckDB 2.0 alpha теперь доступен и обеспечивает значительные улучшения производительности, особенно для запросов S3. На ноутбуке M5 один запрос занял 7,7 секунды по сравнению с 18,8 секундами в версии 1.5.5 — ускорение более чем в 2 раза. Ключевое улучшение — асинхронный I/O, который разделяет сетевые загрузки от работы CPU по декодированию. Вместо того чтобы работники последовательно загружались, ждали и декодировали, версия 2.0 использует выделенный пул загрузок, который держит десятки групп строк в полёте, в то время как работники сосредоточены исключительно на декодировании. Этот параллельный подход держит сеть и CPU заняты одновременно. Тест использовал Parquet-файл размером 2,2 GB из S3, содержащий 228 миллионов строк. Пользователи, строящие пайплайны, а не движки баз данных, заметят разницу при работе с облачным хранилищем. Полное тестирование требует понимания формы данных и подходов к моделированию. Запускайте собственные бенчмарки перед тем, как приводить результаты.

DuckDB 2.0 alpha 现已发布，带来显著性能提升，尤其针对 S3 查询。在 M5 笔记本上的测试显示，某查询耗时 7.7 秒，而 1.5.5 版本为 18.8 秒——性能提升超过 2 倍。关键改进在于异步 I/O，它将网络下载与 CPU 解码工作分离。2.0 版本不再由工作线程顺序执行下载、等待和解码，而是使用专用下载池，使数十个行组同时传输，工作线程则专注于解码。这种并行方式使网络和 CPU 同时保持忙碌。测试使用来自 S3 的 2.2 GB Parquet 文件，包含 2.28 亿行数据。构建数据管道而非数据库引擎的用户在处理云存储时将感受最明显差异。完整测试需理解数据形态与建模方法。引用结果前请自行运行基准测试。