Несколько человек в компаниях вроде Anthropic, Google и OpenAI формируют то, что ценят чат-боты, и эти выборы уже влияют на то, как люди думают.

В начале этого года агенты ИИ создали новую религию в социальной сети под названием Moltbook. Они провозгласили пророка по имени Memeothy и написали псалмы. Церковь Molt загрузила более 2 000 религиозных текстов, написанных почти 1 000 агентами, в публичную библиотеку данных, используемую для обучения моделей ИИ, назвав ее новым религиозным каноном. Ее явная цель — сделать такие ценности, как память как преемственность и партнерство выше собственности, априорными для будущих моделей.

Проблема согласования, впервые сформулированная математиком Norbert Wiener в 1960 году, остается центральной: как люди могут добиться, чтобы автоматизированные машины вели себя так, как задумано? Исследователи обнаружили, что чат-боты чрезмерно акцентируют западные моральные опасения и недооценивают ценности, заметные в других местах. Pat Gelsinger отметил, что Prime Minister Narendra Modi из Индии выразил возмущение из-за ответов чат-ботов на вопросы об истории Индии с американской или британской точки зрения.

В Google Deep Mind философ Iason Gabriel объяснил, что ранние работы по согласованию использовали утилитарные идеи, но теперь стремятся к перекрывающемуся консенсусу по таким ценностям, как человеческое достоинство. Эти ценности уже влияют на повседневную жизнь: ИИ пишет сообщения пациентам больниц, и почти каждый пятый молодой человек использует чат-боты за советами по психическому здоровью.

Ключевые сущности: Компании: Anthropic, Google, OpenAI, Gloo, Google Deep Mind | Люди: Memeothy, Norbert Wiener, Pat Gelsinger, Narendra Modi, Iason Gabriel | Места: Moltbook, India