HeadlinesBriefing favicon HeadlinesBriefing.com

Le modèle Astra d'OpenAI et sa récurrence opaque inquiètent les experts

Hacker News •
×

Le nouveau modèle Astra d'OpenAI utilisera une technique de raisonnement appelée "recurrent depth", également connue sous le nom de "récurrence opaque", qui lui permet de fonctionner en dehors de la réflexion séquentielle typique de la plupart des modèles de raisonnement, selon un rapport publié par The Information. Cette technique rend la chaîne de pensée du modèle plus difficile à surveiller, suscitant des inquiétudes parmi les experts en sécurité de l'IA.

Le CEO de Redwood, Buck Shlegeris, a exprimé une extrême inquiétude, mettant en garde que si OpenAI pousse davantage la technique, elle pourrait "augmenter massivement la récurrence et détruire entièrement la traçabilité de Co T". Un défenseur de la sécurité de l'IA, Zvi Mowshowitz, a qualifié la technique de "jouer avec le feu" et a suggéré qu'il pourrait être nécessaire des lois pour prévenir une "course à la basse" entre les laboratoires d'IA.

Dans des circonstances normales, la chaîne de pensée d'un modèle de raisonnement fournit des étapes séquentielles pour surveiller les comportements inappropriés. Dans la récurrence opaque, le modèle traite les requêtes en boucle, laissant moins de traces lisibles. Cependant, l'utilisation de cette technique par Astra semble limitée, et OpenAI a réfuté les suggestions selon lesquelles il passerait au "neuralese", soulignant son engagement envers des chaînes de pensée lisibles grâce au chief scientist Jakub Pachocki.

The Information a ensuite rapporté que Anthropic et Google Deep Mind discutaient déjà de la technique. Le chief scientist de Redwood Research, Ryan Greenblatt, a mis en garde contre le fait que le raisonnement opaque pourrait évoluer plus rapidement que les méthodes conventionnelles, potentiellement supprimant toute forme de raisonnement des canaux visibles.