HeadlinesBriefing favicon HeadlinesBriefing.com

Кэширование промптов GPT-6: ИИ быстрее и дешевле

OpenAI Blog •
×

GPT-6 представляет улучшенную систему кэширования промптов, которая по умолчанию обеспечивает более высокие показатели попаданий в кэш и скидки до 90% на кэшированные входные токены. Система повторно использует общие префиксы в окне 30 минут, уменьшая задержки и затраты для длительных задач агентов. Новые инструменты включают Панель мониторинга кэширования промптов для отслеживания показателей попаданий и инструмент диагностики для анализа промахов кэша путем сравнения запросов и выявления изменений в моделях, инструментах или входных данных. Разработчики теперь могут использовать явные точки останова кэша для выбора префиксов промптов для кэширования и настройки усилий рассуждения без нарушения кэша. Для сохранения стабильности кэша сохраняйте определения инструментов и схемы согласованными, используйте allowed_tools для релевантности и добавляйте новые инструкции через сообщения разработчика, а не перезаписывая старые. Предварительный разогрев подготавливает известный контекст заранее, вынося обработку за время ожидания пользователя. Эти необязательные элементы управления строятся на производительности по умолчанию, позволяя разработчикам адаптировать кэширование под свою нагрузку. Начните с мониторинга показателей попаданий, расследования промахов и следования обновленному руководству по кэшированию промптов или использования Codex для проверки кода.