HeadlinesBriefing HeadlinesBriefing.com

Los LLMs reaprenden el telese de 1866 para ahorrar un 40% de tokens

Hacker News •
×

Un punto de referencia reproducible en GitHub muestra que indicarle a los LLMs que escriban en cablese—el estilo terso y en minúsculas de los telegramas del siglo XIX—produce un ahorro de 40–49% de tokens sin perder comprensión downstream. Usando un benchmark de 50 pasajes y ~1,300 preguntas, el estudio encontró que modelos como gemma-4-31b, qwen3.8-27b y GLM-5.3-Flash alcanzan ratios de recuperación entre 0.99 y 1.10 al leer registros comprimidos frente a texto plano. La clave es una sola instrucción en minúsculas: sin ella, los modelos predeterminan TODO EN MAYÚSCULAS, costando 14–19 puntos de precisión.

Notably, gpt-5-mini no puede desactivar el razonamiento, duplicando su costo. La técnica funciona en cuatro familias de modelos, incluyendo aquellos nunca entrenados en cablese, demostrando que la capacidad ya está en sus pesos. La compresión es más efectiva cuando se aplica después de que el contenido se establece, no durante la composición, evitando un 'impuesto de registro'.

El resultado es una optimización verificada y sin costo que casi duplica el contexto efectivo o reduce a la mitad las facturas de salida.

Fuente: Hacker News · Resumido por HeadlinesBriefing