HeadlinesBriefing favicon HeadlinesBriefing.com

Модель Astra OpenAI с непрозрачной рекуррентностью беспокоит экспертов

Hacker News •
×

Новая модель Astra от OpenAI будет использовать технику рассуждения, называемую "recurrent depth", также известную как "непрозрачная рекуррентность", которая позволяет ей работать вне последовательного мышления, типичного для большинства моделей рассуждения, согласно отчёту The Information. Эта техника делает цепочку мыслей модели сложнее для мониторинга, вызывая опасения у экспертов по безопасности ИИ.

Генеральный директор Redwood, Бакк Шлегерис, выразил крайнее беспокойство, предупредив, что если OpenAI ускорит применение техники, это может "массово увеличить рекуррентность и полностью уничтожить мониторируемость Co T". Долгое время сторонник безопасности ИИ, Зви Маушетиз, назвал эту технику "игрой с огнём" и предложил, что могут потребоваться законы, чтобы предотвратить "гонку вниз" между лабораториями ИИ.