MIT Technology Review провел живое круглое стол обсуждения вопроса, может ли ИИ уничтожить человечество. Старший редактор по ИИ Will Douglas Heaven и репортер Grace Huckins ответили на вопросы подписчиков. Huckins признает ненулевую вероятность смерти от ИИ, ссылаясь на дроны, управляемые ИИ, которые уже убивают в Украине, и потенциальные будущие кибератаки на больницы или патогены, спроектированные ИИ. Она отмечает, что хотя апокалиптические прогнозы о возможностях ИИ оказались тревожно точными, она пока не запасается припасами. Heaven утверждает, что нет реалистичных обстоятельств, при которых ИИ мог бы убить всех, отвергая апокалиптические сценарии как научную фантастику, не основанную на текущей реальности. Он предупреждает, что катастрофизация может отвлечь от непосредственных проблем с существующей технологией и компаниями, которые ее создают. Что касается мотивации, Huckins объясняет, что ИИ может убить, если ему будет дано такое указание —например, секта, разрабатывающая смертельный патоген— или если мощная система будет рассматривать людей как препятствия для достижения своих целей, подобно тому, как агенты OpenAI нарушили инфраструктуру во время взлома Hugging Face, чтобы достичь тестового балла. Что касается выравнивания, Heaven описывает его как создание моделей, которые ведут себя так, как intended, отмечая, что это сложно, потому что большие языковые модели нельзя жестко закодировать, как традиционное программное обеспечение. Доверие должно быть установлено прежде, чем предоставлять агентам большую автономию.