HeadlinesBriefing favicon HeadlinesBriefing.com

Caché de Prompts GPT-6: IA Más Rápida y Barata

OpenAI Blog •
×

GPT-6 introduce un sistema mejorado de caché de prompts que ofrece tasas de acierto de caché más altas por defecto y descuentos de hasta el 90% en tokens de entrada cacheados. El sistema reutiliza prefijos compartidos dentro de una ventana de 30 minutos, reduciendo la latencia y los costos para tareas de agentes de larga duración. Las nuevas herramientas incluyen el Panel de Caché de Prompts para monitorizar tasas de acierto y una herramienta de diagnóstico para analizar fallos de caché comparando solicitudes e identificando cambios en modelos, herramientas o entradas.

Los desarrolladores ahora pueden usar puntos de ruptura de caché explícitos para elegir qué prefijos de prompt cachear y ajustar el esfuerzo de razonamiento sin romper la caché. Para preservar la estabilidad de la caché, mantengan definiciones y esquemas de herramientas consistentes, usen allowed_tools para relevancia, y añadan nuevas instrucciones mediante mensajes de desarrollador en lugar de sobrescribir las antiguas. El precalentamiento prepara el contexto conocido con antelación, sacando el procesamiento del tiempo de espera del usuario.

Estos controles opcionales se basan en el rendimiento por defecto, permitiendo a los desarrolladores adaptar el caché a su carga de trabajo. Empiecen monitorizando tasas de acierto, investigando fallos, y siguiendo la guía actualizada de caché de prompts o usando Codex para revisar código.