HeadlinesBriefing HeadlinesBriefing.com

Logfire 动态碎片化提升查询速度 1000 倍

Hacker News •
×

Logfire 正通过一种称为动态碎片化的技术,为半结构化数据提供高达 1,000x 更快的查询。以前需要 30 秒超时的查询现在在不到一秒内完成,客户报告称响应时间“基本上是即时的”。该公司将在 2026 年 2 月向所有客户推出此功能。

此优化解决了 Logfire 如何存储 OpenTelemetry 数据的问题,该数据包含固定模式字段(时间戳、跨度名称)和半结构化属性(HTTP 状态码、用户 ID、地区)。最初,所有属性都作为 JSON Blob 存储在单个列中,使用 Jiter 高效解析。这种方法在搜索半结构化数据时导致了根本的查询限制。

动态碎片化将 JSON 属性转换为针对查询优化的列式格式,能够实现更好的区域图修剪和 Parquet 文件扫描。该技术会自动识别并提取经常查询的属性到单独的列中,同时保留较少使用的属性在结构化 JSON 中,从而显著提升分析查询性能。

这一突破使 Logfire 能够大规模处理复杂的遥测工作负载,使开发团队监控分布式系统时的可观测性数据更具可操作性和响应性。

关键实体:公司:Logfire | 位置:us-west-2

常见问题:动态碎片化如何在 Logfire 中实现 1000 倍更快的查询?

动态碎片化将半结构化 JSON 属性转换为列式 Parquet 格式,自动将经常查询的字段提取到单独的列中,同时保留较少使用的属性在结构化 JSON 中。这使得能够高效地进行区域图修剪,并消除了为每个查询解析整个 JSON Blob 的需求,从而带来显著的性能提升。

来源: Hacker News · 由HeadlinesBriefing整理摘要