В ноябре 2016 года три моих коллеги и я из IBM подали заявку на патент под названием «Анализ музыкального выступления в реальном времени с использованием аналитики» (опубликован как US 2018/0137425 A1). Сценарий был таким: рок-концерт, в инструмент гитариста встроен датчик, камеры считывают мимику и язык тела публики, а фанаты отправляют лайки и дизлайки с телефонов. Система объединяет всё это в реальном времени в единое суждение о том, идёт ли выступление хорошо, и предупреждает исполнителя, пока ещё есть время что-то исправить. В одном варианте реализации светодиод на грифе гитары горит зелёным при правильной игре, жёлтым, когда темп плывёт, и красным при фальшивой ноте. Ядро мы назвали «искусственно интеллектуальным аналитическим движком», потому что именно такой словарь был у нас в 2016 году.
Десять лет спустя я проектирую архитектуры данных для агентных ИИ-систем в промышленной эксплуатации. Перечитав патент, я был поражён тем, насколько точно он совпадает с анатомией ИИ-агента: мультимодальное восприятие, агрегация контекста, выводы, опирающиеся на эпизодическую и семантическую память, функция оценки и действие через человека в контуре, и всё это при жёстких ограничениях реального времени. У нас не было языка для такого описания, но у нас был этот контур.
Спецификация состоит из семи частей. Восприятие работает в трёх модальностях: датчики в инструментах передают время, высоту звука, интонацию и громкость; камеры фиксируют непроизвольные сигналы зрителей; а сетевой канал несёт осознанную обратную связь, например оценки и комментарии. Агрегатор отзывов размечает, сортирует и переформатирует эти входные данные, что сегодня назвали бы инженерией контекста. Затем аналитический движок выводит характеристики выступления, опираясь на репозиторий архивных прошлых выступлений и базу знаний, которая придаёт отзывам семантический смысл.
Совпадение не идеально. Конструкция верно передала структуру агентов, но упустила другие проблемы, и эти пробелы до сих пор дают полезные уроки тем, кто создаёт агентов сегодня.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing