We Specified an AI Agent in 2016. We Called It Analytics.

In November 2016, three colleagues and I at IBM filed a patent application titled "Real-Time Analysis of a Musical Performance Using Analytics" (published as US 2018/0137425 A1). The scenario was a rock concert: a guitarist's instrument carries an embedded sensor, cameras read the audience's faces and body language, and fans send likes and dislikes from their phones. A system fuses all of this in real time into one judgment about whether the performance is going well, and alerts the performer while there is still time to fix it. In one embodiment, an LED on the guitar neck shows green for correct playing, yellow when the tempo wavers, and red on a wrong note. We called the core an "artificially intelligent analytics engine," because that was the vocabulary we had in 2016.

Ten years later, I design data architectures for agentic AI systems in production. Re-reading the patent, I was struck by how closely it matches the anatomy of an AI agent: multimodal perception, context aggregation, inference grounded in episodic and semantic memory, an evaluation function, and actuation through a human in the loop, all under a hard real-time constraint. We did not have the language for it, but we had the loop.

The specification has seven parts. Perception operates in three modalities: sensors in instruments report timing, pitch, intonation and volume; cameras capture involuntary audience signals; and a network path carries deliberate feedback such as ratings and comments. A feedback aggregator tags, sorts and reformats these inputs, which today would be called context engineering. The analytics engine then infers the performance's characteristics, grounded in a repository of archived past performances and a knowledgebase that gives feedback semantic meaning.

The mapping is not perfect. The design got the structure of agents right but missed other issues, and those gaps still teach agent builders useful lessons today.

في نوفمبر 2016، قدم ثلاثة من زملائي وأنا في IBM طلب براءة اختراع بعنوان "التحليل الفوري لأداء موسيقي باستخدام التحليلات" (نُشر باسم US 2018/0137425 A1). كان المشهد حفلة روك: تحمل آلة عازف الغيتار مستشعرًا مدمجًا، وتقرأ الكاميرات وجوه الجمهور ولغة أجسادهم، ويرسل المعجبون إعجابهم أو عدم إعجابهم من هواتفهم. يدمج النظام كل ذلك في الوقت الفعلي ليصدر حكمًا واحدًا حول ما إذا كان الأداء يسير على ما يرام، وينبّه العازف بينما لا يزال هناك وقت لتصحيحه. وفي أحد التطبيقات، يعرض مصباح LED على رقبة الغيتار اللون الأخضر عند العزف الصحيح، والأصفر عند تذبذب الإيقاع، والأحمر عند النوتة الخاطئة. أطلقنا على النواة اسم "محرك تحليلات ذكاء اصطناعي"، لأن تلك كانت المفردات المتاحة لنا في 2016.

بعد عشر سنوات، أصمم بنى بيانات لأنظمة ذكاء اصطناعي وكيلية في بيئات الإنتاج. وعند إعادة قراءة البراءة، لفتني مدى تطابقها مع تشريح وكيل الذكاء الاصطناعي: الإدراك متعدد الوسائط، وتجميع السياق، والاستدلال المستند إلى الذاكرة العرضية والدلالية، ودالة تقييم، والتنفيذ عبر إنسان في الحلقة، وكل ذلك ضمن قيد صارم للوقت الفعلي. لم تكن لدينا اللغة الدقيقة لوصف ذلك، لكن كانت لدينا الحلقة نفسها.

تتكون المواصفة من سبعة أجزاء. يعمل الإدراك عبر ثلاثة أنماط: تُبلغ أجهزة الاستشعار في الآلات عن التوقيت والطبقة والنغمة والحجم؛ وتلتقط الكاميرات الإشارات اللاإرادية للجمهور؛ ويحمل مسار شبكي التعليقات المقصودة مثل التقييمات والتعليقات. يقوم مُجمِّع التعليقات بوضع وسوم على هذه المدخلات وفرزها وإعادة تنسيقها، وهو ما يُسمى اليوم هندسة السياق. ثم يستنتج محرك التحليلات خصائص الأداء، مستندًا إلى مستودع للعروض السابقة المؤرشفة وقاعدة معرفية تمنح التعليقات معنى دلاليًا.

المقارنة ليست مثالية. فقد أصاب التصميم في بنية الوكلاء، لكنه أغفل قضايا أخرى، وما تزال تلك الثغرات تعلّم بناة الوكلاء دروسًا مفيدة اليوم.

২০১৬ সালের নভেম্বরে IBM-এর আমি এবং আমার তিন সহকর্মী "Using Analytics to Analyse a Musical Performance in Real Time" শিরোনামে একটি পেটেন্ট আবেদন দাখিল করি (US 2018/0137425 A1 হিসেবে প্রকাশিত)। দৃশ্যপট ছিল একটি রক কনসার্ট: এক গিটারবাদকের যন্ত্রে একটি অন্তর্নির্মিত সেন্সর থাকে, ক্যামেরা দর্শকদের মুখাবয়ব ও শারীরিক ভঙ্গি পড়ে, আর ভক্তরা নিজেদের ফোন থেকে লাইক ও ডিসলাইক পাঠায়। একটি ব্যবস্থা এসব তথ্য রিয়েল টাইমে একত্র করে পরিবেশনা ভালো চলছে কি না সে বিষয়ে একটি সমন্বিত সিদ্ধান্ত তৈরি করে, এবং সংশোধনের সময় থাকতেই পরিবেশককে সতর্ক করে। এক বাস্তবায়নে, গিটারের গলায় একটি LED সঠিক বাজনায় সবুজ, ছন্দ টললে হলুদ এবং ভুল নোটে লাল দেখায়। আমরা এই মূল অংশটিকে "কৃত্রিম বুদ্ধিমত্তা অ্যানালিটিক্স ইঞ্জিন" বলেছিলাম, কারণ ২০১৬ সালে আমাদের হাতে এই শব্দভাণ্ডারই ছিল।

দশ বছর পর, আমি উৎপাদন পরিবেশে এজেন্টিক এআই ব্যবস্থার জন্য ডেটা আর্কিটেকচার নকশা করি। পেটেন্টটি আবার পড়তে গিয়ে আমি বিস্মিত হই যে এটি একটি এআই এজেন্টের গঠনের সঙ্গে কতটা মেলে: মাল্টিমোডাল উপলব্ধি, প্রসঙ্গ একত্রীকরণ, ঘটনাভিত্তিক ও শব্দার্থিক স্মৃতির ওপর ভিত্তি করে অনুমান, একটি মূল্যায়ন ফাংশন, এবং লুপে থাকা মানুষের মাধ্যমে কার্যকর করা, সবই কঠোর রিয়েল-টাইম সীমাবদ্ধতার মধ্যে। এর জন্য আমাদের ভাষা ছিল না, কিন্তু লুপটি আমাদের হাতে ছিল।

স্পেসিফিকেশনে সাতটি অংশ আছে। উপলব্ধি তিনটি ধরনে কাজ করে: যন্ত্রের সেন্সর সময়, পিচ, সুর ও আওয়াজের মাত্রা জানায়; ক্যামেরা দর্শকদের অনিচ্ছাকৃত সংকেত ধরে; আর একটি নেটওয়ার্ক পথ রেটিং ও মন্তব্যের মতো ইচ্ছাকৃত প্রতিক্রিয়া বহন করে। একটি ফিডব্যাক অ্যাগ্রিগেটর এই ইনপুটগুলো ট্যাগ, সাজানো ও পুনর্গঠন করে, আজ যাকে প্রসঙ্গ ইঞ্জিনিয়ারিং বলা হতো। এরপর অ্যানালিটিক্স ইঞ্জিন অতীতের আর্কাইভ করা পরিবেশনার ভান্ডার এবং একটি জ্ঞানভান্ডারের ভিত্তিতে পরিবেশনার বৈশিষ্ট্য অনুমান করে, যা প্রতিক্রিয়াকে শব্দার্থিক অর্থ দেয়।

এই মিল নিখুঁত নয়। নকশাটি এজেন্টের কাঠামো ঠিকভাবে ধরেছিল, কিন্তু অন্য কিছু সমস্যা এড়িয়ে গিয়েছিল, আর সেই ফাঁকগুলো আজও এজেন্ট নির্মাতাদের জন্য কার্যকর শিক্ষা দেয়।

Im November 2016 reichten drei meiner Kollegen und ich bei IBM eine Patentanmeldung mit dem Titel „Echtzeitanalyse einer musikalischen Darbietung mittels Analytik“ ein (veröffentlicht als US 2018/0137425 A1). Das Szenario war ein Rockkonzert: Das Instrument eines Gitarristen enthält einen eingebetteten Sensor, Kameras erfassen Gesichter und Körpersprache des Publikums, und Fans senden Likes und Dislikes über ihre Handys. Ein System verschmilzt all diese Daten in Echtzeit zu einem einzigen Urteil darüber, ob die Darbietung gut läuft, und warnt den Künstler, solange noch Zeit zur Korrektur bleibt. In einer Ausführungsform zeigt eine LED am Gitarrenhals Grün für korrektes Spiel, Gelb bei schwankendem Tempo und Rot bei einem falschen Ton. Den Kern nannten wir eine „künstlich intelligente Analyse-Engine“, weil dies damals unser Vokabular war.

Zehn Jahre später entwerfe ich Datenarchitekturen für agentische KI-Systeme im Produktionsbetrieb. Beim erneuten Lesen des Patents fiel mir auf, wie genau es der Anatomie eines KI-Agenten entspricht: multimodale Wahrnehmung, Kontextaggregation, Inferenz auf Basis episodischen und semantischen Gedächtnisses, eine Bewertungsfunktion und Handlung über einen Menschen in der Schleife, alles unter einer harten Echtzeitbedingung. Uns fehlte die Sprache dafür, aber wir hatten die Schleife.

Die Spezifikation umfasst sieben Teile. Die Wahrnehmung arbeitet in drei Modalitäten: Sensoren in den Instrumenten melden Timing, Tonhöhe, Intonation und Lautstärke; Kameras erfassen unwillkürliche Signale des Publikums; und ein Netzwerkpfad transportiert bewusstes Feedback wie Bewertungen und Kommentare. Ein Feedback-Aggregator kennzeichnet, sortiert und formatiert diese Eingaben neu, was man heute Context Engineering nennen würde. Die Analyse-Engine leitet anschließend die Merkmale der Darbietung ab, gestützt auf ein Archiv früherer Auftritte und eine Wissensbasis, die dem Feedback semantische Bedeutung verleiht.

Die Entsprechung ist nicht perfekt. Der Entwurf traf die Struktur der Agenten richtig, übersah aber andere Probleme, und diese Lücken vermitteln Agentenentwicklern auch heute noch nützliche Lehren.

En noviembre de 2016, tres colegas y yo, en IBM, presentamos una solicitud de patente titulada «Análisis en tiempo real de una actuación musical mediante analítica» (publicada como US 2018/0137425 A1). El escenario era un concierto de rock: el instrumento de un guitarrista lleva un sensor integrado, unas cámaras leen las expresiones faciales y el lenguaje corporal del público, y los aficionados envían me gusta y no me gusta desde sus teléfonos. Un sistema fusiona todo esto en tiempo real en un único juicio sobre si la actuación va bien, y alerta al intérprete mientras aún hay tiempo para corregirla. En una realización, un LED en el mástil de la guitarra muestra verde cuando se toca correctamente, amarillo cuando el tempo vacila y rojo ante una nota equivocada. Llamamos al núcleo un «motor de analítica de inteligencia artificial», porque ese era el vocabulario que teníamos en 2016.

Diez años después, diseño arquitecturas de datos para sistemas de IA agéntica en producción. Al releer la patente, me llamó la atención lo mucho que se parece a la anatomía de un agente de IA: percepción multimodal, agregación de contexto, inferencia basada en memoria episódica y semántica, una función de evaluación y actuación a través de un humano en el bucle, todo ello bajo una estricta restricción de tiempo real. No teníamos el lenguaje para describirlo, pero sí teníamos el bucle.

La especificación tiene siete partes. La percepción opera en tres modalidades: los sensores de los instrumentos informan del tiempo, la altura, la afinación y el volumen; las cámaras captan señales involuntarias del público; y una vía de red transporta la retroalimentación deliberada, como valoraciones y comentarios. Un agregador de retroalimentación etiqueta, ordena y reformatea estas entradas, algo que hoy se llamaría ingeniería de contexto. Después, el motor de analítica infiere las características de la actuación, apoyado en un repositorio de actuaciones pasadas archivadas y en una base de conocimiento que dota de significado semántico a la retroalimentación.

La correspondencia no es perfecta. El diseño acertó con la estructura de los agentes, pero pasó por alto otros problemas, y esas carencias siguen enseñando lecciones útiles a quienes construyen agentes hoy.

En novembre 2016, trois collègues et moi-même chez IBM avons déposé une demande de brevet intitulée « Analyse en temps réel d'une performance musicale à l'aide de l'analytique » (publiée sous le numéro US 2018/0137425 A1). Le scénario était un concert de rock : l'instrument d'un guitariste embarque un capteur, des caméras lisent les visages et le langage corporel du public, et les fans envoient des « j'aime » et des « je n'aime pas » depuis leur téléphone. Un système fusionne l'ensemble en temps réel pour produire un jugement unique sur le bon déroulement de la performance, et alerte l'interprète tant qu'il est encore temps de corriger. Dans un mode de réalisation, une LED sur le manche de la guitare affiche le vert pour un jeu correct, le jaune lorsque le tempo fléchit et le rouge en cas de fausse note. Nous avons qualifié le cœur du système de « moteur d'analytique à intelligence artificielle », car c'était le vocabulaire dont nous disposions en 2016.

Dix ans plus tard, je conçois des architectures de données pour des systèmes d'IA agentique en production. En relisant le brevet, j'ai été frappé par sa correspondance étroite avec l'anatomie d'un agent d'IA : perception multimodale, agrégation du contexte, inférence fondée sur une mémoire épisodique et sémantique, une fonction d'évaluation et une action à travers un humain dans la boucle, le tout sous une contrainte stricte de temps réel. Nous n'avions pas le langage pour le formuler, mais nous avions la boucle.

La spécification comporte sept parties. La perception opère selon trois modalités : les capteurs des instruments fournissent le tempo, la hauteur, l'intonation et le volume ; les caméras captent les signaux involontaires du public ; et un canal réseau transporte les retours délibérés, comme les notes et les commentaires. Un agrégateur de retours étiquette, trie et reformate ces entrées, ce qu'on appellerait aujourd'hui l'ingénierie du contexte. Le moteur d'analytique déduit ensuite les caractéristiques de la performance, en s'appuyant sur un référentiel de performances passées archivées et sur une base de connaissances qui donne un sens sémantique aux retours.

La correspondance n'est pas parfaite. La conception a bien saisi la structure des agents, mais elle a manqué d'autres problèmes, et ces lacunes enseignent encore aujourd'hui des leçons utiles aux concepteurs d'agents.

नवंबर 2016 में, IBM में मेरे तीन सहकर्मियों और मैंने "Real-Time Analysis of a Musical Performance Using Analytics" शीर्षक से एक पेटेंट आवेदन दाखिल किया (US 2018/0137425 A1 के रूप में प्रकाशित)। परिदृश्य एक रॉक कॉन्सर्ट का था: एक गिटारवादक के वाद्य में एक अंतर्निहित सेंसर लगा होता है, कैमरे दर्शकों के चेहरों और शारीरिक हावभाव को पढ़ते हैं, और प्रशंसक अपने फ़ोन से पसंद और नापसंद भेजते हैं। एक सिस्टम इन सबको वास्तविक समय में मिलाकर इस बात का एक निर्णय बनाता है कि प्रदर्शन ठीक चल रहा है या नहीं, और कलाकार को सुधार का समय रहते अलर्ट देता है। एक रूप में, गिटार की गर्दन पर लगी एक LED सही वादन पर हरी, लय डगमगाने पर पीली और गलत नोट पर लाल दिखती है। हमने इसके मूल को "कृत्रिम बुद्धिमत्ता विश्लेषण इंजन" कहा, क्योंकि 2016 में हमारे पास यही शब्दावली थी।

दस साल बाद, मैं उत्पादन में चल रहे एजेंटिक AI सिस्टम के लिए डेटा आर्किटेक्चर डिज़ाइन करता हूँ। पेटेंट को दोबारा पढ़ते हुए मुझे यह देखकर हैरानी हुई कि यह AI एजेंट की संरचना से कितनी निकटता से मेल खाता है: मल्टीमॉडल धारणा, संदर्भ का संग्रहण, एपिसोडिक और सिमेंटिक मेमोरी पर आधारित अनुमान, एक मूल्यांकन फ़ंक्शन, और लूप में मौजूद मनुष्य के माध्यम से क्रियान्वयन, यह सब कठोर वास्तविक-समय की बाध्यता के अंतर्गत। हमारे पास इसके लिए भाषा नहीं थी, पर हमारे पास वह लूप था।

विनिर्देश के सात भाग हैं। धारणा तीन रूपों में काम करती है: वाद्यों के सेंसर समय, पिच, सुर और आवाज़ की जानकारी देते हैं; कैमरे दर्शकों के अनैच्छिक संकेत पकड़ते हैं; और एक नेटवर्क मार्ग रेटिंग और टिप्पणियों जैसी जानबूझकर दी गई प्रतिक्रिया ले जाता है। एक फ़ीडबैक एग्रीगेटर इन इनपुट को टैग करता, छाँटता और पुनर्गठित करता है, जिसे आज संदर्भ इंजीनियरिंग कहा जाएगा। इसके बाद एनालिटिक्स इंजन प्रदर्शन की विशेषताओं का अनुमान लगाता है, जो पुराने प्रदर्शनों के संग्रह और एक ज्ञानभंडार पर आधारित है जो प्रतिक्रिया को सिमेंटिक अर्थ देता है।

यह मिलान पूर्ण नहीं है। डिज़ाइन ने एजेंटों की संरचना सही समझी, पर अन्य समस्याएँ छूट गईं, और वे चूकें आज भी एजेंट बनाने वालों को उपयोगी सबक सिखाती हैं।

Pada November 2016, tiga rekan saya dan saya di IBM mengajukan permohonan paten berjudul "Real-Time Analysis of a Musical Performance Using Analytics" (dipublikasikan sebagai US 2018/0137425 A1). Skenarionya adalah konser rock: instrumen gitaris membawa sensor tertanam, kamera membaca wajah dan bahasa tubuh penonton, dan penggemar mengirimkan suka dan tidak suka dari ponsel mereka. Sebuah sistem menggabungkan semua ini secara real time menjadi satu penilaian tentang apakah penampilan berjalan baik, dan memberi tahu penampil selagi masih ada waktu untuk memperbaikinya. Dalam satu implementasi, LED di leher gitar menyala hijau untuk permainan yang benar, kuning saat tempo goyah, dan merah saat nada salah. Kami menyebut intinya "mesin analitik kecerdasan buatan" karena itulah kosakata yang kami miliki pada 2016.

Sepuluh tahun kemudian, saya merancang arsitektur data untuk sistem AI agentik di lingkungan produksi. Ketika membaca ulang paten itu, saya terkejut betapa dekat kesamaannya dengan anatomi agen AI: persepsi multimodal, agregasi konteks, inferensi yang berlandaskan memori episodik dan semantik, fungsi evaluasi, dan tindakan melalui manusia dalam lingkaran, semuanya di bawah batasan waktu nyata yang ketat. Kami tidak punya bahasanya, tetapi kami punya lingkarannya.

Spesifikasinya memiliki tujuh bagian. Persepsi bekerja dalam tiga modalitas: sensor pada instrumen melaporkan waktu, nada, intonasi, dan volume; kamera menangkap sinyal tidak disengaja dari penonton; dan jalur jaringan membawa umpan balik yang disengaja seperti penilaian dan komentar. Agregator umpan balik memberi tag, mengurutkan, dan memformat ulang masukan ini, yang saat ini disebut rekayasa konteks. Mesin analitik kemudian menyimpulkan karakteristik penampilan, berlandaskan repositori penampilan masa lalu yang diarsipkan dan basis pengetahuan yang memberi makna semantik pada umpan balik.

Pemetaannya tidak sempurna. Desainnya tepat dalam struktur agen, tetapi melewatkan masalah lain, dan celah-celah itu tetap mengajarkan pelajaran berguna bagi pembangun agen hari ini.

2016年11月、IBMの同僚3人と私は「Real-Time Analysis of a Musical Performance Using Analytics（分析を用いた音楽演奏のリアルタイム分析）」と題する特許出願を行いました（US 2018/0137425 A1として公開）。想定された場面はロックコンサートです。ギタリストの楽器には組み込みセンサーがあり、カメラが観客の表情や身体の動きを読み取り、ファンはスマートフォンから「いいね」や「よくない」を送信します。システムはこれらすべてをリアルタイムで統合し、演奏がうまくいっているかどうかについて一つの判断を下し、修正できる時間があるうちに演奏者へ警告します。ある実施形態では、ギターのネックにあるLEDが、正しい演奏では緑、テンポがぶれると黄、音を外すと赤を表示します。私たちは中核部分を「人工知能分析エンジン」と呼びました。2016年当時の語彙がそれしかなかったからです。

それから10年後、私は本番環境で稼働するエージェント型AIシステムのデータアーキテクチャを設計しています。特許を読み返して驚いたのは、その構造がAIエージェントの構成要素とこれほど近いことでした。マルチモーダルな知覚、文脈の集約、エピソード記憶と意味記憶に基づく推論、評価関数、そして人間を介在させた行動が、厳しいリアルタイム制約のもとで組み合わされています。当時はそれを表す言葉がありませんでしたが、ループは確かにありました。

仕様書は七つの部分から成ります。知覚は三つのモダリティで動作します。楽器内のセンサーはタイミング、音高、音程、音量を報告し、カメラは観客の無意識の反応を捉え、ネットワーク経路は評価やコメントといった意図的なフィードバックを運びます。フィードバック集約器はこれらの入力にタグを付け、並べ替え、再整形します。これは今日であれば文脈エンジニアリングと呼ばれるものです。次に分析エンジンが、過去の演奏をアーカイブしたリポジトリと、フィードバックに意味を与える知識ベースを基に、演奏の特性を推論します。

この対応関係は完全ではありません。設計はエージェントの構造を正しく捉えていましたが、他の問題を見落としていました。そしてそれらの欠落は、今日エージェントを構築する人々にとっても有益な教訓を与え続けています。

Em novembro de 2016, três colegas e eu, na IBM, apresentamos um pedido de patente intitulado "Análise em Tempo Real de uma Performance Musical Usando Analytics" (publicado como US 2018/0137425 A1). O cenário era um show de rock: o instrumento de um guitarrista carrega um sensor embutido, câmeras leem os rostos e a linguagem corporal da plateia, e os fãs enviam curtidas e não curtidas pelo celular. Um sistema funde tudo isso em tempo real em um único julgamento sobre se a apresentação está indo bem e alerta o artista enquanto ainda há tempo para corrigir. Em uma configuração, um LED no braço da guitarra mostra verde para a execução correta, amarelo quando o tempo vacila e vermelho diante de uma nota errada. Chamamos o núcleo de "motor de analytics de inteligência artificial", porque esse era o vocabulário que tínhamos em 2016.

Dez anos depois, projeto arquiteturas de dados para sistemas de IA agêntica em produção. Ao reler a patente, fiquei impressionado com o quanto ela corresponde à anatomia de um agente de IA: percepção multimodal, agregação de contexto, inferência ancorada em memória episódica e semântica, uma função de avaliação e atuação por meio de um humano no circuito, tudo sob uma restrição rígida de tempo real. Não tínhamos a linguagem para isso, mas tínhamos o ciclo.

A especificação tem sete partes. A percepção opera em três modalidades: sensores nos instrumentos informam tempo, altura, afinação e volume; câmeras captam sinais involuntários da plateia; e um canal de rede transporta feedback deliberado, como avaliações e comentários. Um agregador de feedback marca, ordena e reformata essas entradas, o que hoje seria chamado de engenharia de contexto. Em seguida, o motor de analytics infere as características da apresentação, apoiado em um repositório de performances passadas arquivadas e em uma base de conhecimento que dá significado semântico ao feedback.

A correspondência não é perfeita. O desenho acertou a estrutura dos agentes, mas deixou passar outros problemas, e essas lacunas ainda ensinam lições úteis para quem constrói agentes hoje.

В ноябре 2016 года три моих коллеги и я из IBM подали заявку на патент под названием «Анализ музыкального выступления в реальном времени с использованием аналитики» (опубликован как US 2018/0137425 A1). Сценарий был таким: рок-концерт, в инструмент гитариста встроен датчик, камеры считывают мимику и язык тела публики, а фанаты отправляют лайки и дизлайки с телефонов. Система объединяет всё это в реальном времени в единое суждение о том, идёт ли выступление хорошо, и предупреждает исполнителя, пока ещё есть время что-то исправить. В одном варианте реализации светодиод на грифе гитары горит зелёным при правильной игре, жёлтым, когда темп плывёт, и красным при фальшивой ноте. Ядро мы назвали «искусственно интеллектуальным аналитическим движком», потому что именно такой словарь был у нас в 2016 году.

Десять лет спустя я проектирую архитектуры данных для агентных ИИ-систем в промышленной эксплуатации. Перечитав патент, я был поражён тем, насколько точно он совпадает с анатомией ИИ-агента: мультимодальное восприятие, агрегация контекста, выводы, опирающиеся на эпизодическую и семантическую память, функция оценки и действие через человека в контуре, и всё это при жёстких ограничениях реального времени. У нас не было языка для такого описания, но у нас был этот контур.

Спецификация состоит из семи частей. Восприятие работает в трёх модальностях: датчики в инструментах передают время, высоту звука, интонацию и громкость; камеры фиксируют непроизвольные сигналы зрителей; а сетевой канал несёт осознанную обратную связь, например оценки и комментарии. Агрегатор отзывов размечает, сортирует и переформатирует эти входные данные, что сегодня назвали бы инженерией контекста. Затем аналитический движок выводит характеристики выступления, опираясь на репозиторий архивных прошлых выступлений и базу знаний, которая придаёт отзывам семантический смысл.

Совпадение не идеально. Конструкция верно передала структуру агентов, но упустила другие проблемы, и эти пробелы до сих пор дают полезные уроки тем, кто создаёт агентов сегодня.

2016年11月，我和IBM的三位同事提交了一项专利申请，名为《使用分析技术对音乐表演进行实时分析》（公开号为US 2018/0137425 A1）。场景设定为一场摇滚音乐会：吉他手的乐器中嵌入了传感器，摄像头读取观众的面部表情和肢体语言，粉丝则通过手机发送点赞或点踩。系统将所有这些信息实时融合，形成对演出是否顺利的综合判断，并在还有时间补救时提醒表演者。在一种实施方式中，吉他琴颈上的LED灯在演奏正确时显示绿色，节奏动摇时显示黄色，弹错音时显示红色。我们将核心称为“人工智能分析引擎”，因为这是我们2016年所使用的词汇。

十年后，我为生产环境中的智能体AI系统设计数据架构。重读这项专利时，我惊讶地发现它与AI智能体的结构高度吻合：多模态感知、上下文聚合、基于情景记忆和语义记忆的推理、评估函数，以及通过人在回路进行的执行，所有这些都处于严格的实时约束之下。当时我们没有相应的术语，但我们已经有了这个闭环。

该专利说明书包含七个部分。感知分三种模态运行：乐器中的传感器报告节奏、音高、音准和音量；摄像头捕捉观众的无意识信号；网络通道则传递评分和评论等有意识的反馈。反馈聚合器对这些输入进行标记、分类和重新格式化，如今这被称为上下文工程。随后，分析引擎依托已归档的过往演出库和为反馈赋予语义的知识库，推断演出的特征。

这种对应关系并不完美。该设计在智能体的结构上判断正确，但遗漏了其他问题，而这些缺口至今仍能为智能体开发者提供有益的启示。