2016年11月、IBMの同僚3人と私は「Real-Time Analysis of a Musical Performance Using Analytics（分析を用いた音楽演奏のリアルタイム分析）」と題する特許出願を行いました（US 2018/0137425 A1として公開）。想定された場面はロックコンサートです。ギタリストの楽器には組み込みセンサーがあり、カメラが観客の表情や身体の動きを読み取り、ファンはスマートフォンから「いいね」や「よくない」を送信します。システムはこれらすべてをリアルタイムで統合し、演奏がうまくいっているかどうかについて一つの判断を下し、修正できる時間があるうちに演奏者へ警告します。ある実施形態では、ギターのネックにあるLEDが、正しい演奏では緑、テンポがぶれると黄、音を外すと赤を表示します。私たちは中核部分を「人工知能分析エンジン」と呼びました。2016年当時の語彙がそれしかなかったからです。
それから10年後、私は本番環境で稼働するエージェント型AIシステムのデータアーキテクチャを設計しています。特許を読み返して驚いたのは、その構造がAIエージェントの構成要素とこれほど近いことでした。マルチモーダルな知覚、文脈の集約、エピソード記憶と意味記憶に基づく推論、評価関数、そして人間を介在させた行動が、厳しいリアルタイム制約のもとで組み合わされています。当時はそれを表す言葉がありませんでしたが、ループは確かにありました。
仕様書は七つの部分から成ります。知覚は三つのモダリティで動作します。楽器内のセンサーはタイミング、音高、音程、音量を報告し、カメラは観客の無意識の反応を捉え、ネットワーク経路は評価やコメントといった意図的なフィードバックを運びます。フィードバック集約器はこれらの入力にタグを付け、並べ替え、再整形します。これは今日であれば文脈エンジニアリングと呼ばれるものです。次に分析エンジンが、過去の演奏をアーカイブしたリポジトリと、フィードバックに意味を与える知識ベースを基に、演奏の特性を推論します。
この対応関係は完全ではありません。設計はエージェントの構造を正しく捉えていましたが、他の問題を見落としていました。そしてそれらの欠落は、今日エージェントを構築する人々にとっても有益な教訓を与え続けています。
出典: Towards Data Science · 要約：HeadlinesBriefing