Logfire обеспечивает до 1 000x более быстрых запросов к полуструктурированным данным с помощью техники, называемой динамическим шредингом. Запросы, которые ранее таймаутились через 30 секунд, теперь выполняются за менее чем одну секунду, клиенты сообщают о времени отклика как о «почти мгновенном». Компания внедряет эту функцию для всех клиентов в феврале 2026 года.
Эта оптимизация касается того, как Logfire хранит данные OpenTelemetry, которые включают поля с фиксированной схемой (временные метки, имена спанов) и полуструктурированные атрибуты (коды состояния HTTP, идентификаторы пользователей, регионы). Изначально все атрибуты хранились как JSON-блоб в одном столбце и эффективно парсились с помощью Jiter. Такой подход создавал фундаментальные ограничения для запросов при поиске по полуструктурированным данным.
Динамический шрединг преобразует JSON-атрибуты в колонковый формат, оптимизированный для запросов, обеспечивая лучшее обрезание карт зон и сканирование файлов Parquet. Эта техника автоматически определяет и извлекает часто запрашиваемые атрибуты в отдельные столбцы, оставляя менее распространенные в структурированном JSON, что значительно повышает производительность аналитических запросов.
Этот прорыв позволяет Logfire обрабатывать сложные рабочие нагрузки телеметрии в масштабе, делая данные наблюдаемости более пригодными для действий и отзывчивыми для команд разработки, мониторящих распределенные системы.
Ключевые сущности: Компании: Logfire | Местоположения: us-west-2
Часто задаваемые вопросы: Как динамический шрединг обеспечивает ускорение запросов в 1000 раз в Logfire?
Динамический шрединг преобразует полуструктурированные JSON-атрибуты в колонковый формат Parquet, автоматически извлекая часто запрашиваемые поля в отдельные столбцы, оставляя менее распространенные атрибуты в структурированном JSON. Это обеспечивает эффективное обрезание карт зон и устраняет необходимость парсить весь JSON-блоб для каждого запроса, что приводит к значительному улучшению производительности.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing