HeadlinesBriefing favicon HeadlinesBriefing.com

数学家启动人工智能安全研究所

New York Times Top Stories •
×

在7月份,多伦多大学的教授Jacob Tsimerman获得了数学界的最高荣誉菲尔兹奖。获得奖项后,Tsimerman博士宣布进行专业方向的转变,离开学术界并将研究方向转向人工智能安全。他将在本月晚些时候加入Open AI的安全部门工作。周二,Tsimerman博士宣布成立数学人工智能安全研究所(MAISI),这是一个独立的研究机构,与Open AI无关。该研究所位于湾区,计划于2027年1月开始其第一学期的研究,旨在聘请10至30名数学家,并在随后的学年聘请更多人员。在MAISI的创建过程中,担任科学主任的Tsimerman博士向学术界传达了一个信息:“人工智能安全是一个有意义的研究领域,”他在多伦多接受采访时说。“这是一个合法的智力追求,是有趣的、有用的,并且有真正的进展可以实现。”多年来,尽管人工智能取得了进展,但许多数学家并没有把这项技术当回事,认为这只是软件工程师的领域。但正如Tsimerman博士指出的那样:“工程师只能实现已经开发出来的想法,我们需要新的想法。”由于人工智能系统从根本上由数学构成——线性代数、微积分、概率论、统计学——他和志同道合的数学家们将人工智能安全中的一些问题视为根本性的数学问题。MAISI的执行主任、人工智能研究员兼数学家Andrew Critch说:“我们需要更多这样的数学清晰性和谨慎性在人工智能行业中。”受过数学训练的研究人员看到了一个机会,认为高等数学可以解决诸如人工智能系统如何相互作用和合作的问题;如何验证代理是否负责任地行事,并且输出是否准确;以及如何从根本上设计人工智能系统,以抵御甚至目前尚未发现的漏洞和风险。Tsimerman博士指出了一种称为零知识证明的密码学工具——一种在不透露多余信息的情况下提供关于系统验证的数学方法。Goldwasser博士是另一个类似以数学为导向的人工智能安全研究所——负责任的超级智能研究所(RESI)的联合创始人,该研究所于8月在马萨诸塞州剑桥启动。RESI的创始科学团队包括M.I.T.密码学家Vinod Vaikuntanathan和最近离开Open AI的人工智能安全与伦理研究者Adam Tauman Kalai。