Logfire liefert bis zu 1.000x schnellere Abfragen für halbstrukturierte Daten mittels einer Technik namens dynamisches Shredding. Abfragen, die zuvor nach 30 Sekunden einen Timeout hatten, werden jetzt in weniger als einer Sekunde abgeschlossen, wobei Kunden von „grundsätzlich sofortigen“ Antwortzeiten berichten. Das Unternehmen führt diese Funktion im Februar 2026 für alle Kunden aus.
Diese Optimierung befasst sich damit, wie Logfire OpenTelemetry-Daten speichert, die feste-Schema-Felder (Zeitstempel, Spannennamen) und halbstrukturierte Attribute (HTTP-Statuscodes, Benutzer-IDs, Regionen) enthalten. Anfangs wurden alle Attribute als JSON-Blobs in einer einzigen Spalte gespeichert und effizient mit Jiter geparsed. Dieser Ansatz führte zu grundlegenden Einschränkungen bei Abfragen beim Durchsuchen halbstrukturierter Daten.
Dynamisches Shredding wandelt die JSON-Attribute in ein für Abfragen optimiertes Spaltenformat um, wodurch eine bessere Zone-Map-Ausdünnung und das Scannen von Parquet-Dateien ermöglicht wird. Die Technik identifiziert und extrahiert automatisch häufig abgefragte Attribute in separate Spalten, während weniger häufige Attribute im strukturierten JSON belassen werden, was die Leistung analytischer Abfragen deutlich verbessert.
Dieser Durchbruch ermöglicht es Logfire, komplexe Telemetrie-Workloads in großem Maßstab zu bewältigen, wodurch Observability-Daten für Entwicklungsteams, die verteilte Systeme überwachen, umsetzbarer und reaktionsschneller werden.
Wichtige Entitäten: Unternehmen: Logfire | Standorte: us-west-2
Häufig gestellte Fragen: Wie erreicht dynamisches Shredding 1000x schnellere Abfragen in Logfire?
Dynamisches Shredding wandelt halbstrukturierte JSON-Attribute in ein spaltenbasiertes Parquet-Format um, extrahiert automatisch häufig abgefragte Felder in separate Spalten und behält weniger häufige Attribute im strukturierten JSON bei. Dadurch wird eine effiziente Zone-Map-Ausdünnung ermöglicht und die Notwendigkeit entfällt, für jede Abfrage den gesamten JSON-Blob zu parsen, was zu erheblichen Leistungssteigerungen führt.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing