En novembre 2016, trois collègues et moi-même chez IBM avons déposé une demande de brevet intitulée « Analyse en temps réel d'une performance musicale à l'aide de l'analytique » (publiée sous le numéro US 2018/0137425 A1). Le scénario était un concert de rock : l'instrument d'un guitariste embarque un capteur, des caméras lisent les visages et le langage corporel du public, et les fans envoient des « j'aime » et des « je n'aime pas » depuis leur téléphone. Un système fusionne l'ensemble en temps réel pour produire un jugement unique sur le bon déroulement de la performance, et alerte l'interprète tant qu'il est encore temps de corriger. Dans un mode de réalisation, une LED sur le manche de la guitare affiche le vert pour un jeu correct, le jaune lorsque le tempo fléchit et le rouge en cas de fausse note. Nous avons qualifié le cœur du système de « moteur d'analytique à intelligence artificielle », car c'était le vocabulaire dont nous disposions en 2016.
Dix ans plus tard, je conçois des architectures de données pour des systèmes d'IA agentique en production. En relisant le brevet, j'ai été frappé par sa correspondance étroite avec l'anatomie d'un agent d'IA : perception multimodale, agrégation du contexte, inférence fondée sur une mémoire épisodique et sémantique, une fonction d'évaluation et une action à travers un humain dans la boucle, le tout sous une contrainte stricte de temps réel. Nous n'avions pas le langage pour le formuler, mais nous avions la boucle.
La spécification comporte sept parties. La perception opère selon trois modalités : les capteurs des instruments fournissent le tempo, la hauteur, l'intonation et le volume ; les caméras captent les signaux involontaires du public ; et un canal réseau transporte les retours délibérés, comme les notes et les commentaires. Un agrégateur de retours étiquette, trie et reformate ces entrées, ce qu'on appellerait aujourd'hui l'ingénierie du contexte. Le moteur d'analytique déduit ensuite les caractéristiques de la performance, en s'appuyant sur un référentiel de performances passées archivées et sur une base de connaissances qui donne un sens sémantique aux retours.
La correspondance n'est pas parfaite. La conception a bien saisi la structure des agents, mais elle a manqué d'autres problèmes, et ces lacunes enseignent encore aujourd'hui des leçons utiles aux concepteurs d'agents.
Source: Towards Data Science · Résumé par HeadlinesBriefing