HeadlinesBriefing HeadlinesBriefing 12 languages

Shredding JSON columns gave Logfire up to 1000x faster queries

Hacker News ·

🇬🇧 English

Logfire is delivering up to 1,000x faster queries for semi-structured data through a technique called dynamic shredding. Queries that previously timed out after 30 seconds now complete in under a second, with customers reporting "basically instant" response times. The company is rolling out this feature to all customers in February 2026.

The optimization addresses how Logfire stores OpenTelemetry data, which contains fixed-schema fields (timestamps, span names) and semi-structured attributes (HTTP status codes, user IDs, regions). Initially, all attributes were stored as JSON blobs in a single column, parsed efficiently using Jiter. This approach made fundamental query limitations when searching across semi-structured data.

Dynamic shredding transforms the JSON attributes into a columnar format optimized for querying, enabling better zone map pruning and Parquet file scanning. The technique automatically identifies and extracts frequently queried attributes into separate columns while keeping less common ones in structured JSON, dramatically improving analytical query performance.

This breakthrough allows Logfire to handle complex telemetry workloads at scale, making observability data more actionable and responsive for development teams monitoring distributed systems.

View original article →


🇸🇦 العربية

لوجفاير تحقق استعلامات أسرع 1000x باستخدام التقطيع الديناميكي

لوجفاير تقدم ما يصل إلى 1,000x أسرع استعلامات للبيانات شبه المنظمة من خلال تقنية تسمى التقطيع الديناميكي. الاستعلامات التي كانت تنتهي مهلة تنفيذها بعد 30 ثانية الآن تكتمل في أقل من ثانية، مع تقارير العملاء عن أوقات استجابة "أساسية فورية". الشركة تقوم بنشر هذه الميزة لجميع العملاء في فبراير 2026.

يتناول هذا التحسين كيفية تخزين لوجفاير لبيانات OpenTelemetry، والتي تحتوي على حقول ذات مخطط ثابت (الطوابع الزمنية، أسماء الامتدادات) وسمات شبه منظمة (أكواد حالة HTTP، معرّفات المستخدمين، المناطق). في البداية، تم تخزين جميع السمات ككائنات JSON blob في عمود واحد، وتم تحليلها بكفاءة باستخدام Jiter. أدى هذا النهج إلى قيود أساسية في الاستعلامات عند البحث في البيانات شبه المنظمة.

يحول التقطيع الديناميكي سمات JSON إلى تنسيق عمودي محسّن للاستعلام، مما يتيح قص أفضل لخرائط المناطق ومسح ملفات Parquet. تقوم هذه التقنية تلقائيًا بتحديد واستخراج السمات المطلوبة بشكل متكرر إلى أعمدة منفصلة مع الاحتفاظ بالأقل شيوعًا في JSON منظم، مما يحسن بشكل كبير أداء الاستعلامات التحليلية.

يتيح هذا الاختراق لـ لوجفاير التعامل مع أعباء عمل التلتمتري المعقدة على نطاق واسع، مما يجعل بيانات المراقبة أكثر قابلية للتنفيذ والاستجابة لفرق التطوير التي تراقب الأنظمة الموزعة.

الكيانات الرئيسية: الشركات: لوجفاير | المواقع: us-west-2

الأسئلة الشائعة: كيف يحقق التقطيع الديناميكي استعلامات أسرع 1000x في لوجفاير؟

يحول التقطيع الديناميكي سمات JSON شبه المنظمة إلى تنسيق عمودي Parquet، ويستخرج تلقائيًا الحقول المطلوبة بشكل متكرر إلى أعمدة منفصلة مع الاحتفاظ بالأقل شيوعًا في JSON منظم. هذا يمكّن من قص فعال لخرائط المناطق ويزيل الحاجة إلى تحليل كائنات JSON blob الكاملة لكل استعلام، مما يؤدي إلى تحسينات أداء دراماتيكية.

كيف يحقق التقطيع الديناميكي استعلامات أسرع 1000x في لوجفاير؟

يحول التقطيع الديناميكي سمات JSON شبه المنظمة إلى تنسيق عمودي Parquet، ويستخرج تلقائيًا الحقول المطلوبة بشكل متكرر إلى أعمدة منفصلة مع الاحتفاظ بالأقل شيوعًا في JSON منظم. هذا يمكّن من قص فعال لخرائط المناطق ويزيل الحاجة إلى تحليل كائنات JSON blob الكاملة لكل استعلام، مما يؤدي إلى تحسينات أداء دراماتيكية.

العربية version →


🇧🇩 বাংলা

লগফায়ার ডায়নামিক শ্রেডিং দিয়ে 1000x দ্রুত কোয়েরি অর্জন করে

লগফায়ার 1,000x দ্রুত কোয়েরি অর্ধ-স্ট্রাকচার্ড ডেটার জন্য ডায়নামিক শ্রেডিং নামক একটি কৌশলের মাধ্যমে প্রদান করছে। আগে 30 সেকেন্ডে টাইমআউট হওয়া কোয়েরি এখন এক সেকেন্ডের কম সময়ে শেষ হয়, গ্রাহকদের প্রতিক্রিয়া সময়কে "মৌলিকভাবে তৎক্ষণিক" বলা হয়েছে। কোম্পানিটি ফেব্রুয়ারি ২০২৬-এ সমস্ত গ্রাহককে এই বৈশিষ্ট্য রোলআউট করছে।

এই অপ্টিমাইজেশনটি লগফায়ার কীভাবে ওপেনটেলিমেট্রি ডেটা সংরক্ষণ করে তা সমাধান করে, যা নিশ্চিত-স্কিমা ফিল্ড (টাইমস্ট্যাম্প, স্প্যান নাম) এবং অর্ধ-স্ট্রাকচার্ড অ্যাট্রিবিউট (HTTP স্ট্যাটাস কোড, ব্যবহারকারী আইডি, অঞ্চল) অন্তর্ভুক্ত করে। প্রারম্ভিকভাবে, সমস্ত অ্যাট্রিবিউটকে Jiter ব্যবহার করে দক্ষতার সাথে পার্স করা একটি একক কলামে JSON ব্লব হিসাবে সংরক্ষণ করা হয়েছিল। এই পদ্ধতিটি অর্ধ-স্ট্রাকচার্ড ডেটা খোঁজার সময় মৌলিক কোয়েরি সীমাবদ্ধতা তৈরি করেছিল।

ডায়নামিক শ্রেডিং JSON অ্যাট্রিবিউটকে কোয়েরির জন্য অপ্টিমাইজড কলাম-ভিত্তিক ফরম্যാറ്റে রূপান্তরিত করে, যা ভাল জোন ম্যাপ প্রুনিং এবং Parquet ফাইল স্ক্যানিং সক্ষম করে। এই কৌশল স্বয়ংক্রিয়ভাবে ঘন ঘন কোয়েরি করা অ্যাট্রিবিউটকে আলাদা কলামে শনাক্ত করে এবং বের করে, কম ব্যবহৃতগুলোকে গঠনকৃত JSON-এ রাখে, বিশ্লেষণাত্মক কোয়েরি কর্মক্ষমতাকে নাটকীয়ভাবে উন্নত করে।

এই অগ্রগতি লগফায়ারকে স্কেলে জটিল টেলিমেট্রি ওয়ারকলোড পরিচালনা করতে সক্ষম করে, jolloin বিতরণকৃত সিস্টেম নিরীক্ষণ करने वाले উন্নয়ন দলদের জন্য পর্যবেক্ষণ ডেটা আরও কার্যকর ও প্রতিক্রিয়াশীল হয়।

মূল entidades: কোম্পানিগুলো: লগফায়ার | অবস্থান: us-west-2

সাধারণ প্রশ্ন: ডায়নামিক শ্রেডিং কীভাবে লগফায়ারে 1000x দ্রুত কোয়েরি অর্জন করে?

ডায়নামিক শ্রেডিং অর্ধ-স্ট্রাকচার্ড JSON অ্যাট্রিবিউটকে কলাম-ভিত্তিক Parquet ফরম্যാറ്റে রূপান্তরিত করে, ঘন ঘন কোয়েরি করা ফিল্ডকে স্বয়ংক্রিয়ভাবে আলাদা কলামে বের করে এবং কম ব্যবহৃতগুলোকে গঠনকৃত JSON-এ রাখে। এটি কার্যকর জোন ম্যাপ প্রুনিং সক্ষম করে এবং প্রতিটি কোয়েরি জন্য পুরো JSON ব্লব পার্স করার প্রয়োজন মুছে ফেলে, কর্মক্ষমতায় নাটকীয় উন্নতি আনতে পারে।

ডায়নামিক শ্রেডিং কীভাবে লগফায়ারে 1000x দ্রুত কোয়েরি অর্জন করে?

ডায়নামিক শ্রেডিং অর্ধ-স্ট্রাকচার্ড JSON অ্যাট্রিবিউটকে কলাম-ভিত্তিক Parquet ফরম্যാറ്റে রূপান্তরিত করে, ঘন ঘন কোয়েরি করা ফিল্ডকে স্বয়ংক্রিয়ভাবে আলাদা কলামে বের করে এবং কম ব্যবহৃতগুলোকে গঠনকৃত JSON-এ রাখে। এটি কার্যকর জোন ম্যাপ প্রুনিং সক্ষম করে এবং প্রতিটি কোয়েরি জন্য পুরো JSON ব্লব পার্স করার প্রয়োজন মুছে ফেলে, কর্মক্ষমতায় নাটকীয় উন্নতি আনতে পারে।

বাংলা version →


🇩🇪 Deutsch

Logfire erreicht 1000x schnellere Abfragen durch dynamisches Shredding

Logfire liefert bis zu 1.000x schnellere Abfragen für halbstrukturierte Daten mittels einer Technik namens dynamisches Shredding. Abfragen, die zuvor nach 30 Sekunden einen Timeout hatten, werden jetzt in weniger als einer Sekunde abgeschlossen, wobei Kunden von „grundsätzlich sofortigen“ Antwortzeiten berichten. Das Unternehmen führt diese Funktion im Februar 2026 für alle Kunden aus.

Diese Optimierung befasst sich damit, wie Logfire OpenTelemetry-Daten speichert, die feste-Schema-Felder (Zeitstempel, Spannennamen) und halbstrukturierte Attribute (HTTP-Statuscodes, Benutzer-IDs, Regionen) enthalten. Anfangs wurden alle Attribute als JSON-Blobs in einer einzigen Spalte gespeichert und effizient mit Jiter geparsed. Dieser Ansatz führte zu grundlegenden Einschränkungen bei Abfragen beim Durchsuchen halbstrukturierter Daten.

Dynamisches Shredding wandelt die JSON-Attribute in ein für Abfragen optimiertes Spaltenformat um, wodurch eine bessere Zone-Map-Ausdünnung und das Scannen von Parquet-Dateien ermöglicht wird. Die Technik identifiziert und extrahiert automatisch häufig abgefragte Attribute in separate Spalten, während weniger häufige Attribute im strukturierten JSON belassen werden, was die Leistung analytischer Abfragen deutlich verbessert.

Dieser Durchbruch ermöglicht es Logfire, komplexe Telemetrie-Workloads in großem Maßstab zu bewältigen, wodurch Observability-Daten für Entwicklungsteams, die verteilte Systeme überwachen, umsetzbarer und reaktionsschneller werden.

Wichtige Entitäten: Unternehmen: Logfire | Standorte: us-west-2

Häufig gestellte Fragen: Wie erreicht dynamisches Shredding 1000x schnellere Abfragen in Logfire?

Dynamisches Shredding wandelt halbstrukturierte JSON-Attribute in ein spaltenbasiertes Parquet-Format um, extrahiert automatisch häufig abgefragte Felder in separate Spalten und behält weniger häufige Attribute im strukturierten JSON bei. Dadurch wird eine effiziente Zone-Map-Ausdünnung ermöglicht und die Notwendigkeit entfällt, für jede Abfrage den gesamten JSON-Blob zu parsen, was zu erheblichen Leistungssteigerungen führt.

Wie erreicht dynamisches Shredding 1000x schnellere Abfragen in Logfire?

Dynamisches Shredding wandelt halbstrukturierte JSON-Attribute in ein spaltenbasiertes Parquet-Format um, extrahiert automatisch häufig abgefragte Felder in separate Spalten und behält weniger häufige Attribute im strukturierten JSON bei. Dadurch wird eine effiziente Zone-Map-Ausdünnung ermöglicht und die Notwendigkeit entfällt, für jede Abfrage den gesamten JSON-Blob zu parsen, was zu erheblichen Leistungssteigerungen führt.

Deutsch version →


🇪🇸 Español

Logfire logra consultas 1000x más rápidas con desmenuzado dinámico

Logfire está ofreciendo hasta 1,000x más rápidas consultas para datos semiestructurados mediante una técnica llamada desmenuzado dinámico. Las consultas que anteriormente agotaban el tiempo después de 30 segundos ahora se completan en menos de un segundo, con clientes reportando tiempos de respuesta "básicamente instantáneos". La empresa está implementando esta función para todos los clientes en febrero de 2026.

La optimización aborda cómo Logfire almacena los datos de OpenTelemetry, que contienen campos de esquema fijo (marcas de tiempo, nombres de spans) y atributos semiestructurados (códigos de estado HTTP, IDs de usuario, regiones). Inicialmente, todos los atributos se almacenaban como blobs JSON en una sola columna, analizados eficientemente utilizando Jiter. Este enfoque generaba limitaciones fundamentales en las consultas al buscar en datos semiestructurados.

El desmenuzado dinámico transforma los atributos JSON en un formato columnar optimizado para consultas, lo que permite una mejor poda de mapas de zonas y escaneo de archivos Parquet. La técnica identifica y extrae automáticamente los atributos frecuentemente consultados a columnas separadas, manteniendo los menos comunes en JSON estructurado, lo que mejora drásticamente el rendimiento de las consultas analíticas.

Este avance permite a Logfire manejar cargas de trabajo de telemetría complejas a escala, haciendo que los datos de observabilidad sean más accionables y receptivos para los equipos de desarrollo que monitorean sistemas distribuidos.

Entidades clave: Empresas: Logfire | Ubicaciones: us-west-2

Preguntas frecuentes: ¿Cómo logra el desmenuzado dinámico consultas 1000x más rápidas en Logfire?

El desmenuzado dinámico transforma los atributos JSON semiestructurados en un formato columnar Parquet, extrayendo automáticamente los campos frecuentemente consultados a columnas separadas mientras mantiene los atributos menos comunes en JSON estructurado. Esto permite una poda eficiente de mapas de zonas y elimina la necesidad de analizar blobs JSON completos para cada consulta, lo que resulta en mejoras dramáticas de rendimiento.

¿Cómo logra el desmenuzado dinámico consultas 1000x más rápidas en Logfire?

El desmenuzado dinámico transforma los atributos JSON semiestructurados en un formato columnar Parquet, extrayendo automáticamente los campos frecuentemente consultados a columnas separadas mientras mantiene los atributos menos comunes en JSON estructurado. Esto permite una poda eficiente de mapas de zonas y elimina la necesidad de analizar blobs JSON completos para cada consulta, lo que resulta en mejoras dramáticas de rendimiento.

Español version →


🇫🇷 Français

Logfire atteint des requêtes 1000x plus rapides avec le déchiquetage dynamique

Logfire offre jusqu'à 1 000x de requêtes plus rapides pour les données semi-structurées grâce à une technique appelée déchiquetage dynamique. Les requêtes qui dépassaient auparavant le délai de 30 secondes s'exécutent maintenant en moins d'une seconde, les clients décrivant les temps de réponse comme « essentiellement instantanés ». L'entreprise déploie cette fonctionnalité auprès de tous ses clients en février 2026.

Cette optimisation concerne la manière dont Logfire stocke les données OpenTelemetry, qui comprennent des champs à schéma fixe (horodatages, noms de spans) et des attributs semi-structurés (codes d'état HTTP, identifiants utilisateurs, régions). Initialement, tous les attributs étaient stockés sous forme de blobs JSON dans une seule colonne, analysés efficacement à l'aide de Jiter. Cette approche entraînait des limites fondamentales pour les requêtes lors de la recherche dans les données semi-structurées.

Le déchiquetage dynamique transforme les attributs JSON en un format colonne optimisé pour les requêtes, permettant une meilleure élagage des cartes de zones et un scan des fichiers Parquet. Cette technique identifie et extrait automatiquement les attributs fréquemment interrogés dans des colonnes séparées, tout en conservant les moins courants sous forme de JSON structuré, améliorant considérablement les performances des requêtes analytiques.

Cette avancée permet à Logfire de gérer à l'échelle des charges de travail de télémétrie complexes, rendant les données d'observabilité plus exploitables et réactives pour les équipes de développement surveillant des systèmes distribués.

Entités clés : Entreprises : Logfire | Localisations : us-west-2

FAQ : Comment le déchiquetage dynamique permet-il d'obtenir des requêtes 1000x plus rapides dans Logfire ?

Le déchiquetage dynamique transforme les attributs JSON semi-structurés en un format colonne Parquet, en extrayant automatiquement les champs fréquemment interrogés dans des colonnes séparées tout en conservant les attributs moins courants sous forme de JSON structuré. Cela permet un élagage efficace des cartes de zones et élimine la nécessité d'analyser l'intégralité des blobs JSON pour chaque requête, ce qui entraîne des améliorations de performances spectaculaires.

Comment le déchiquetage dynamique permet-il d'obtenir des requêtes 1000x plus rapides dans Logfire ?

Le déchiquetage dynamique transforme les attributs JSON semi-structurés en un format colonne Parquet, en extrayant automatiquement les champs fréquemment interrogés dans des colonnes séparées tout en conservant les attributs moins courants sous forme de JSON structuré. Cela permet un élagage efficace des cartes de zones et élimine la nécessité d'analyser l'intégralité des blobs JSON pour chaque requête, ce qui entraîne des améliorations de performances spectaculaires.

Français version →


🇮🇳 हिन्दी

Logfire डायनामिक शेडिंग से 1000x तेज़ क्वेरी हासिल करता है

Logfire डायनामिक शेडिंग नामक तकनीक के माध्यम से सेमी-स्ट्रक्चर्ड डेटा के लिए 1,000x तेज़ क्वेरी प्रदान कर रहा है। पहले 30 सेकंड में टाइमआउट हो जाने वाली क्वेरी अब एक सेकंड से कम समय में पूरी हो जाती हैं, ग्राहकों ने प्रतिक्रिया समय को "बुनियादी रूप से तत्काल" बताया है। कंपनी फरवरी 2026 में सभी ग्राहकों को इस सुविधा का rollout कर रही है।

यह अनुकूलन यह संबोधित करता है कि Logfire OpenTelemetry डेटा कैसे संग्रहीत करता है, जिसमें निश्चित-स्कीमा फ़ील्ड (टाइमस्टैम्प, स्पैन नाम) और अर्ध-स्ट्रक्चर्ड एट्रिब्यूट (HTTP स्थिति कोड, उपयोगकर्ता आईडी, क्षेत्र) शामिल हैं। प्रारंभ में, सभी एट्रिब्यूट को Jiter का उपयोग करके कुशलता से पार्स किए जाने वाले एकल कॉलम में JSON ब्लॉब के रूप में संग्रहीत किया गया था। इस दृष्टिकोण से अर्ध-स्ट्रक्चर्ड डेटा की खोज में मौलिक क्वेरी सीमाएं उत्पन्न हुईं।

डायनामिक शेडिंग JSON एट्रिब्यूट को क्वेरी के लिए अनुकूलित कॉलमर प्रारूप में बदल देता है, जिससे बेहतर ज़ोन मैप प्रूनिंग और Parquet फ़ाइल स्कैनिंग संभव होती है। यह तकनीक स्वचालित रूप से अक्सर क्वेरी किए जाने वाले एट्रिब्यूट को अलग-अलग कॉलम में पहचान लेती है और निकाल लेती है, जबकि कम सामान्य वाले को संरचित JSON में रखे रखती है, जिससे विश्लेषणात्मक क्वेरी प्रदर्शन में नाटकीय सुधार होता है।

यह उपलब्धि Logfire को पैमाने पर जटिल टेलीमेट्री वर्कलोड को संभालने में सक्षम बनाती है, जिससे वितरित प्रणालियों की निगरानी करने वाले विकास टीमों के लिए ऑब्ज़र्वेबिलिटी डेटा अधिक कार्रवाई योग्य और उत्तरदायी बन जाता है।

मुख्य इकाइयाँ: कंपनियाँ: Logfire | स्थान: us-west-2

अक्सर पूछे जाने वाले प्रश्न: डायनामिक शेडिंग Logfire में 1000x तेज़ क्वेरी कैसे हासिल करता है?

डायनामिक शेडिंग अर्ध-स्ट्रक्चर्ड JSON एट्रिब्यूट को कॉलमर Parquet प्रारूप में बदल देता है, अक्सर क्वेरी किए जाने वाले फ़ील्ड को स्वचालित रूप से अलग कॉलम में निकाल लेता है जबकि कम सामान्य वाले को संरचित JSON में रखे रखता है। इससे प्रभावी ज़ोन मैप प्रूनिंग संभव होती है और हर क्वेरी के लिए पूरे JSON ब्लॉब को पार्स करने की आवश्यकता समाप्त हो जाती है, जिससे प्रदर्शन में नाटकीय सुधार होता है।

डायनामिक शेडिंग Logfire में 1000x तेज़ क्वेरी कैसे हासिल करता है?

डायनामिक शेडिंग अर्ध-स्ट्रक्चर्ड JSON एट्रिब्यूट को कॉलमर Parquet प्रारूप में बदल देता है, अक्सर क्वेरी किए जाने वाले फ़ील्ड को स्वचालित रूप से अलग कॉलम में निकाल लेता है जबकि कम सामान्य वाले को संरचित JSON में रखे रखता है। इससे प्रभावी ज़ोन मैप प्रूनिंग संभव होती है और हर क्वेरी के लिए पूरे JSON ब्लॉब को पार्स करने की आवश्यकता समाप्त हो जाती है, जिससे प्रदर्शन में नाटकीय सुधार होता है।

हिन्दी version →


🇮🇩 Bahasa Indonesia

Logfire Mencapai Query 1000x Lebih Cepat dengan Shredding Dinamis

Logfire sedang menyediakan hingga 1.000x query lebih cepat untuk data semi-terstruktur melalui teknik yang disebut shredding dinamis. Query yang sebelumnya timeout setelah 30 detik sekarang selesai dalam kurang dari satu detik, dengan pelaporan pelanggan bahwa waktu respons adalah "esensialnya instan". Perusahaan sedang meluncurkan fitur ini untuk semua pelanggan pada Februari 2026.

Optimasi ini menangani cara Logfire menyimpan data OpenTelemetry, yang berisi bidang skema tetap (stempel waktu, nama span) dan atribut semi-terstruktur (kode status HTTP, ID pengguna, wilayah). Awalnya, semua atribut disimpan sebagai blob JSON dalam satu kolom, diurai secara efisien menggunakan Jiter. Pendekatan ini menciptakan keterbatasan dasar dalam query saat mencari data semi-terstruktur.

Shredding dinamis mengubah atribut JSON menjadi format kolom yang dioptimalkan untuk query, memungkinkan pemotongan zona yang lebih baik dan pemindaian file Parquet. Teknik ini secara otomatis mengidentifikasi dan mengekstrak atribut yang sering di-query ke kolom terpisah, sambil menyimpan yang kurang umum dalam JSON terstruktur, sehingga meningkatkan secara dramatis kinerja query analitis.

Breakthrough ini memungkinkan Logfire menangani beban kerja telemetri kompleks dalam skala besar, membuat data observability lebih dapat ditindaklanjuti dan responsif bagi tim pengembangan yang memantau sistem terdistribusi.

Entitas Utama: Perusahaan: Logfire | Lokasi: us-west-2

Bagaimana shredding dinamis mencapai query 1000x lebih cepat di Logfire?

Shredding dinamis mengubah atribut JSON semi-terstruktur menjadi format kolom Parquet, mengekstrak secara otomatis atribut yang sering di-query ke kolom terpisah sambil menyimpan yang kurang umum dalam JSON terstruktur. Ini memungkinkan pemotongan zona yang efisien dan menghilangkan kebutuhan untuk murai seluruh blob JSON untuk setiap query, yang menghasilkan peningkatan performa yang dramatis.

Bahasa Indonesia version →


🇯🇵 日本語

Logfire、ダイナミックシュレッディングでクエリを1000倍高速化

Logfire は、1,000x 高速なクエリ を半構造化データに対して提供するために、ダイナミックシュレッディングと呼ばれる技術を使用しています。以前は 30 秒でタイムアウトしていたクエリが、今では 1 秒未満で完了し、お客様からは「基本的に即時」の応答時間だと報告されています。同社はこの機能を 2026 年 2 月にすべてのお客様に提供します。

この最適化は、Logfire が OpenTelemetry データをどのように保存しているかに関係しています。このデータには、固定スキーマ フィールド(タイムスタンプ、スパン名)と半構造化属性(HTTP ステータスコード、ユーザー ID、リージョン)が含まれます。当初、すべての属性は単一の列に JSON ブロブとして保存され、Jiter を使用して効率的にパースされていました。このアプローチでは、半構造化データを検索する際に根本的なクエリの制限がありました。

ダイナミックシュレッディングは、JSON 属性をクエリに最適化されたカラム形式に変換し、ゾーンマップのプルーニングを向上させ、Parquet ファイルのスキャンを可能にします。この技術は、頻繁にクエリされる属性を自動的に特定し、別々の列に抽出します。一方、あまりクエリされない属性は構造化 JSON のまま保持され、分析クエリのパフォーマンスが劇的に向上します。

このブレークスルーにより、Logfire はスケールで複雑なテレメトリー ワークロードを処理できるようになり、分散システムを監視する開発チームにとって、オブザーバビリティ データがより実用的かつ応答性の高いものになります。

主要エンティティ: 会社: Logfire | 場所: us-west-2

よくある質問: ダイナミックシュレッディングはどのようにして Logfire でクエリを 1000 倍高速化するのですか?

ダイナミックシュレッディングは、半構造化 JSON 属性をカラム形式の Parquet に変換し、頻繁にクエリされるフィールドを自動的に別々の列に抽出し、あまりクエリされない属性を構造化 JSON のまま保持します。これにより、ゾーンマップのプルーニングが効率的に行われ、各クエリごとに全体の JSON ブロブをパースする必要がなくなり、パフォーマンスが劇的に向上します。

ダイナミックシュレッディングはどのようにして Logfire でクエリを 1000 倍高速化するのですか?

ダイナミックシュレッディングは、半構造化 JSON 属性をカラム形式の Parquet に変換し、頻繁にクエリされるフィールドを自動的に別々の列に抽出し、あまりクエリされない属性を構造化 JSON のまま保持します。これにより、ゾーンマップのプルーニングが効率的に行われ、各クエリごとに全体の JSON ブロブをパースする必要がなくなり、パフォーマンスが劇的に向上します。

日本語 version →


🇧🇷 Português

Logfire atinge consultas 1000x mais rápidas com fragmentação dinâmica

Logfire está oferecendo até 1.000x consultas mais rápidas para dados semiestruturados por meio de uma técnica chamada fragmentação dinâmica. Consultas que anteriormente expiravam após 30 segundos agora são concluídas em menos de um segundo, com clientes relatando tempos de resposta "basicmente instantâneos". A empresa está implementando esse recurso para todos os clientes em fevereiro de 2026.

Esta otimização aborda como o Logfire armazena os dados do OpenTelemetry, que contêm campos de esquema fixo (timestamps, nomes de spans) e atributos semiestruturados (códigos de status HTTP, IDs de usuários, regiões). Inicialmente, todos os atributos eram armazenados como blobs JSON em uma única coluna, analisados eficientemente usando Jiter. Essa abordagem criava limitações fundamentais nas consultas ao pesquisar em dados semiestruturados.

A fragmentação dinâmica transforma os atributos JSON em um formato colunar otimizado para consulta, permitindo uma melhor poda de mapas de zonas e a leitura de arquivos Parquet. A técnica identifica e extrai automaticamente os atributos frequentemente consultados em colunas separadas, mantendo os menos comuns em JSON estruturado, melhorando drasticamente o desempenho das consultas analíticas.

Este avanço permite que o Logfire lide com cargas de trabalho de telemetria complexas em escala, tornando os dados de observabilidade mais acionáveis e responsivos para equipes de desenvolvimento que monitoram sistemas distribuídos.

Entidades-chave: Empresas: Logfire | Localizações: us-west-2

Perguntas frequentes: Como a fragmentação dinâmica consegue consultas 1000x mais rápidas no Logfire?

A fragmentação dinâmica transforma os atributos JSON semiestruturados em um formato colunar Parquet, extraíndo automaticamente os campos frequentemente consultados para colunas separadas enquanto mantém os atributos menos comuns em JSON estruturado. Isso permite uma poda eficiente de mapas de zonas e elimina a necessidade de analisar blobs JSON inteiros para cada consulta, resultando em melhorias dramáticas de desempenho.

Como a fragmentação dinâmica consegue consultas 1000x mais rápidas no Logfire?

A fragmentação dinâmica transforma os atributos JSON semiestruturados em um formato colunar Parquet, extraíndo automaticamente os campos frequentemente consultados para colunas separadas enquanto mantém os atributos menos comuns em JSON estruturado. Isso permite uma poda eficiente de mapas de zonas e elimina a necessidade de analisar blobs JSON inteiros para cada consulta, resultando em melhorias dramáticas de desempenho.

Português version →


🇷🇺 Русский

Logfire достигает ускорения запросов в 1000 раз с помощью динамического шрединга

Logfire обеспечивает до 1 000x более быстрых запросов к полуструктурированным данным с помощью техники, называемой динамическим шредингом. Запросы, которые ранее таймаутились через 30 секунд, теперь выполняются за менее чем одну секунду, клиенты сообщают о времени отклика как о «почти мгновенном». Компания внедряет эту функцию для всех клиентов в феврале 2026 года.

Эта оптимизация касается того, как Logfire хранит данные OpenTelemetry, которые включают поля с фиксированной схемой (временные метки, имена спанов) и полуструктурированные атрибуты (коды состояния HTTP, идентификаторы пользователей, регионы). Изначально все атрибуты хранились как JSON-блоб в одном столбце и эффективно парсились с помощью Jiter. Такой подход создавал фундаментальные ограничения для запросов при поиске по полуструктурированным данным.

Динамический шрединг преобразует JSON-атрибуты в колонковый формат, оптимизированный для запросов, обеспечивая лучшее обрезание карт зон и сканирование файлов Parquet. Эта техника автоматически определяет и извлекает часто запрашиваемые атрибуты в отдельные столбцы, оставляя менее распространенные в структурированном JSON, что значительно повышает производительность аналитических запросов.

Этот прорыв позволяет Logfire обрабатывать сложные рабочие нагрузки телеметрии в масштабе, делая данные наблюдаемости более пригодными для действий и отзывчивыми для команд разработки, мониторящих распределенные системы.

Ключевые сущности: Компании: Logfire | Местоположения: us-west-2

Часто задаваемые вопросы: Как динамический шрединг обеспечивает ускорение запросов в 1000 раз в Logfire?

Динамический шрединг преобразует полуструктурированные JSON-атрибуты в колонковый формат Parquet, автоматически извлекая часто запрашиваемые поля в отдельные столбцы, оставляя менее распространенные атрибуты в структурированном JSON. Это обеспечивает эффективное обрезание карт зон и устраняет необходимость парсить весь JSON-блоб для каждого запроса, что приводит к значительному улучшению производительности.

Как динамический шрединг обеспечивает ускорение запросов в 1000 раз в Logfire?

Динамический шрединг преобразует полуструктурированные JSON-атрибуты в колонковый формат Parquet, автоматически извлекая часто запрашиваемые поля в отдельные столбцы, оставляя менее распространенные атрибуты в структурированном JSON. Это обеспечивает эффективное обрезание карт зон и устраняет необходимость парсить весь JSON-блоб для каждого запроса, что приводит к значительному улучшению производительности.

Русский version →


🇨🇳 简体中文

Logfire 通过动态碎片化实现查询速度提升 1000 倍

Logfire 正通过一种称为动态碎片化的技术,为半结构化数据提供高达 1,000x 更快的查询。以前需要 30 秒超时的查询现在在不到一秒内完成,客户报告称响应时间“基本上是即时的”。该公司将在 2026 年 2 月向所有客户推出此功能。

此优化解决了 Logfire 如何存储 OpenTelemetry 数据的问题,该数据包含固定模式字段(时间戳、跨度名称)和半结构化属性(HTTP 状态码、用户 ID、地区)。最初,所有属性都作为 JSON Blob 存储在单个列中,使用 Jiter 高效解析。这种方法在搜索半结构化数据时导致了根本的查询限制。

动态碎片化将 JSON 属性转换为针对查询优化的列式格式,能够实现更好的区域图修剪和 Parquet 文件扫描。该技术会自动识别并提取经常查询的属性到单独的列中,同时保留较少使用的属性在结构化 JSON 中,从而显著提升分析查询性能。

这一突破使 Logfire 能够大规模处理复杂的遥测工作负载,使开发团队监控分布式系统时的可观测性数据更具可操作性和响应性。

关键实体:公司:Logfire | 位置:us-west-2

常见问题:动态碎片化如何在 Logfire 中实现 1000 倍更快的查询?

动态碎片化将半结构化 JSON 属性转换为列式 Parquet 格式,自动将经常查询的字段提取到单独的列中,同时保留较少使用的属性在结构化 JSON 中。这使得能够高效地进行区域图修剪,并消除了为每个查询解析整个 JSON Blob 的需求,从而带来显著的性能提升。

动态碎片化如何在 Logfire 中实现 1000 倍更快的查询?

动态碎片化将半结构化 JSON 属性转换为列式 Parquet 格式,自动将经常查询的字段提取到单独的列中,同时保留较少使用的属性在结构化 JSON 中。这使得能够高效地进行区域图修剪,并消除了为每个查询解析整个 JSON Blob 的需求,从而带来显著的性能提升。

简体中文 version →