2016年11月，我和IBM的三位同事提交了一项专利申请，名为《使用分析技术对音乐表演进行实时分析》（公开号为US 2018/0137425 A1）。场景设定为一场摇滚音乐会：吉他手的乐器中嵌入了传感器，摄像头读取观众的面部表情和肢体语言，粉丝则通过手机发送点赞或点踩。系统将所有这些信息实时融合，形成对演出是否顺利的综合判断，并在还有时间补救时提醒表演者。在一种实施方式中，吉他琴颈上的LED灯在演奏正确时显示绿色，节奏动摇时显示黄色，弹错音时显示红色。我们将核心称为“人工智能分析引擎”，因为这是我们2016年所使用的词汇。
十年后，我为生产环境中的智能体AI系统设计数据架构。重读这项专利时，我惊讶地发现它与AI智能体的结构高度吻合：多模态感知、上下文聚合、基于情景记忆和语义记忆的推理、评估函数，以及通过人在回路进行的执行，所有这些都处于严格的实时约束之下。当时我们没有相应的术语，但我们已经有了这个闭环。
该专利说明书包含七个部分。感知分三种模态运行：乐器中的传感器报告节奏、音高、音准和音量；摄像头捕捉观众的无意识信号；网络通道则传递评分和评论等有意识的反馈。反馈聚合器对这些输入进行标记、分类和重新格式化，如今这被称为上下文工程。随后，分析引擎依托已归档的过往演出库和为反馈赋予语义的知识库，推断演出的特征。
这种对应关系并不完美。该设计在智能体的结构上判断正确，但遗漏了其他问题，而这些缺口至今仍能为智能体开发者提供有益的启示。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要