Logfire está ofreciendo hasta 1,000x más rápidas consultas para datos semiestructurados mediante una técnica llamada desmenuzado dinámico. Las consultas que anteriormente agotaban el tiempo después de 30 segundos ahora se completan en menos de un segundo, con clientes reportando tiempos de respuesta "básicamente instantáneos". La empresa está implementando esta función para todos los clientes en febrero de 2026.
La optimización aborda cómo Logfire almacena los datos de OpenTelemetry, que contienen campos de esquema fijo (marcas de tiempo, nombres de spans) y atributos semiestructurados (códigos de estado HTTP, IDs de usuario, regiones). Inicialmente, todos los atributos se almacenaban como blobs JSON en una sola columna, analizados eficientemente utilizando Jiter. Este enfoque generaba limitaciones fundamentales en las consultas al buscar en datos semiestructurados.
El desmenuzado dinámico transforma los atributos JSON en un formato columnar optimizado para consultas, lo que permite una mejor poda de mapas de zonas y escaneo de archivos Parquet. La técnica identifica y extrae automáticamente los atributos frecuentemente consultados a columnas separadas, manteniendo los menos comunes en JSON estructurado, lo que mejora drásticamente el rendimiento de las consultas analíticas.
Este avance permite a Logfire manejar cargas de trabajo de telemetría complejas a escala, haciendo que los datos de observabilidad sean más accionables y receptivos para los equipos de desarrollo que monitorean sistemas distribuidos.
Entidades clave: Empresas: Logfire | Ubicaciones: us-west-2
Preguntas frecuentes: ¿Cómo logra el desmenuzado dinámico consultas 1000x más rápidas en Logfire?
El desmenuzado dinámico transforma los atributos JSON semiestructurados en un formato columnar Parquet, extrayendo automáticamente los campos frecuentemente consultados a columnas separadas mientras mantiene los atributos menos comunes en JSON estructurado. Esto permite una poda eficiente de mapas de zonas y elimina la necesidad de analizar blobs JSON completos para cada consulta, lo que resulta en mejoras dramáticas de rendimiento.
Fuente: Hacker News · Resumido por HeadlinesBriefing