Logfire sedang menyediakan hingga 1.000x query lebih cepat untuk data semi-terstruktur melalui teknik yang disebut shredding dinamis. Query yang sebelumnya timeout setelah 30 detik sekarang selesai dalam kurang dari satu detik, dengan pelaporan pelanggan bahwa waktu respons adalah "esensialnya instan". Perusahaan sedang meluncurkan fitur ini untuk semua pelanggan pada Februari 2026.
Optimasi ini menangani cara Logfire menyimpan data OpenTelemetry, yang berisi bidang skema tetap (stempel waktu, nama span) dan atribut semi-terstruktur (kode status HTTP, ID pengguna, wilayah). Awalnya, semua atribut disimpan sebagai blob JSON dalam satu kolom, diurai secara efisien menggunakan Jiter. Pendekatan ini menciptakan keterbatasan dasar dalam query saat mencari data semi-terstruktur.
Shredding dinamis mengubah atribut JSON menjadi format kolom yang dioptimalkan untuk query, memungkinkan pemotongan zona yang lebih baik dan pemindaian file Parquet. Teknik ini secara otomatis mengidentifikasi dan mengekstrak atribut yang sering di-query ke kolom terpisah, sambil menyimpan yang kurang umum dalam JSON terstruktur, sehingga meningkatkan secara dramatis kinerja query analitis.
Breakthrough ini memungkinkan Logfire menangani beban kerja telemetri kompleks dalam skala besar, membuat data observability lebih dapat ditindaklanjuti dan responsif bagi tim pengembangan yang memantau sistem terdistribusi.
Entitas Utama: Perusahaan: Logfire | Lokasi: us-west-2
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing