Im November 2016 reichten drei meiner Kollegen und ich bei IBM eine Patentanmeldung mit dem Titel „Echtzeitanalyse einer musikalischen Darbietung mittels Analytik“ ein (veröffentlicht als US 2018/0137425 A1). Das Szenario war ein Rockkonzert: Das Instrument eines Gitarristen enthält einen eingebetteten Sensor, Kameras erfassen Gesichter und Körpersprache des Publikums, und Fans senden Likes und Dislikes über ihre Handys. Ein System verschmilzt all diese Daten in Echtzeit zu einem einzigen Urteil darüber, ob die Darbietung gut läuft, und warnt den Künstler, solange noch Zeit zur Korrektur bleibt. In einer Ausführungsform zeigt eine LED am Gitarrenhals Grün für korrektes Spiel, Gelb bei schwankendem Tempo und Rot bei einem falschen Ton. Den Kern nannten wir eine „künstlich intelligente Analyse-Engine“, weil dies damals unser Vokabular war.
Zehn Jahre später entwerfe ich Datenarchitekturen für agentische KI-Systeme im Produktionsbetrieb. Beim erneuten Lesen des Patents fiel mir auf, wie genau es der Anatomie eines KI-Agenten entspricht: multimodale Wahrnehmung, Kontextaggregation, Inferenz auf Basis episodischen und semantischen Gedächtnisses, eine Bewertungsfunktion und Handlung über einen Menschen in der Schleife, alles unter einer harten Echtzeitbedingung. Uns fehlte die Sprache dafür, aber wir hatten die Schleife.
Die Spezifikation umfasst sieben Teile. Die Wahrnehmung arbeitet in drei Modalitäten: Sensoren in den Instrumenten melden Timing, Tonhöhe, Intonation und Lautstärke; Kameras erfassen unwillkürliche Signale des Publikums; und ein Netzwerkpfad transportiert bewusstes Feedback wie Bewertungen und Kommentare. Ein Feedback-Aggregator kennzeichnet, sortiert und formatiert diese Eingaben neu, was man heute Context Engineering nennen würde. Die Analyse-Engine leitet anschließend die Merkmale der Darbietung ab, gestützt auf ein Archiv früherer Auftritte und eine Wissensbasis, die dem Feedback semantische Bedeutung verleiht.
Die Entsprechung ist nicht perfekt. Der Entwurf traf die Struktur der Agenten richtig, übersah aber andere Probleme, und diese Lücken vermitteln Agentenentwicklern auch heute noch nützliche Lehren.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing