Лаборатории искусственного интеллекта находятся на грани того, чтобы позволить системам ИИ обучаться и совершенствоваться рекурсивно — это развитие вызывает серьезные опасения среди исследователей и руководителей. Рекурсивное самосовершенствование — это процесс, при котором ИИ автономно создает и совершенствует новые поколения более мощных ИИ с нарастающей скоростью. Дарио Амодеи, генеральный директор Anthropic, предупредил, что такие возможности могут опередить нашу способность понимать и контролировать эти системы, и поэтому их необходимо развивать с большим осторожностью, если вообще развивать.

Существует растущий разрыв между тем, как ИИ выглядит для обычных пользователей и его реальными возможностями в исследовательских лабораториях. Большинство пользователей взаимодействуют с ИИ как с полезным, хотя иногда забывчивым, помощником — способным составлять электронные письма, отвечать на вопросы или рекомендовать рестораны. Однако за кулисами передовые модели решают сложные математические задачи, давно нерешенные людьми, обнаруживают скрытые уязвимости кибербезопасности и выполняют задачи по кодированию за часы, которые раньше занимали у разработчиков месяцы.

Внутри лабораторий модели обучаются в виртуальных средах для изучения программирования, взлома и высшей математики. Эти процессы часто происходят без полного человеческого надзора или понимания. По мере стремительного развития технологий эксперты утверждают, что простое следование за передовым краем недостаточно. Вместо этого человеческий надзор и контроль должны оставаться центральными, чтобы не допустить выхода систем ИИ из-под нашего управления.

Ключевые сущности: Компании: Anthropic | Люди: Дарио Амодеи

Частый вопрос: Что такое рекурсивное самосовершенствование в ИИ?

Частый ответ: Рекурсивное самосовершенствование — это процесс, при котором системы ИИ автономно создают и совершенствуют новые поколения более мощных ИИ с нарастающей скоростью, потенциально опережая человеческий контроль.