DuckDB 2.0 alpha já está disponível e entrega melhorias significativas de desempenho, particularmente para consultas S3. Em um laptop M5, uma consulta levou 7,7 segundos contra 18,8 segundos na versão 1.5.5 — uma aceleração superior a 2x. O avanço-chave é a E/S assíncrona, que separa downloads da rede do trabalho de decodificação CPU.
Em vez de workers baixarem, esperarem e decodificarem sequencialmente, a versão 2.0 usa um pool de download dedicado que mantém dezenas de row groups em voo enquanto os workers focam apenas em decodificar. Essa abordagem paralela mantém a rede e a CPU ocupadas simultaneamente. O testou um arquivo Parquet de 2,2 GB do S3 contendo 228 milhões de linhas.
Usuários construindo pipelines em vez de motores de banco de dados notarão a diferença ao trabalhar com armazenamento nuvem. Teste completo requer entender a forma dos dados e abordagens de modelagem. Execute seus próprios benchmarks antes de citar resultados.
Fonte: Hacker News · Resumido por HeadlinesBriefing