HeadlinesBriefing favicon HeadlinesBriefing.com

Matemático lanza Instituto de Seguridad de la I.A.

New York Times Top Stories •
×

En julio, Jacob Tsimerman, un profesor en la Universidad de Toronto, recibió la Medalla Fields, el honor más alto en matemáticas. Al recibir el premio, el Dr. Tsimerman anunció un giro profesional, tomando un descanso de la academia y redirigiendo su investigación hacia la seguridad de la I. A.

Comenzará un trabajo en el departamento de seguridad en Open AI a finales de este mes. El martes, el Dr. Tsimerman anunció la formación del Instituto Matemático de Seguridad de la I. A. (MAISI), una institución de investigación independiente no afiliada con Open AI.

Ubicado en el Área de la Bahía, MAISI comenzará su primer semestre completo de investigación en enero de 2027, con el objetivo de contratar entre 10 y 30 matemáticos, y significativamente más durante el siguiente año académico. Con MAISI, el Dr. Tsimerman, quien servirá como director científico, transmite un mensaje a la comunidad académica: "La seguridad de la I. A. es un área de investigación significativa", dijo en una entrevista desde Toronto. "Es una búsqueda intelectual legítima que es interesante, útil, y hay progreso real que se puede lograr."A lo largo de los años, a pesar de los avances en inteligencia artificial, muchos matemáticos no tomaron en serio la tecnología, considerándola en cambio como el ámbito de los ingenieros de software.

Pero, como señaló el Dr. Tsimerman, "Los ingenieros solo pueden implementar ideas que han sido desarrolladas, y necesitamos nuevas ideas." Dado que los sistemas de I. A. están fundamentalmente hechos de matemáticas — álgebra lineal, cálculo, probabilidad, estadísticas — él y matemáticos de ideas afines ven algunos problemas en la seguridad de la I. A. como problemas matemáticos fundamentales. "Necesitamos más de esa claridad y cuidado matemático en la industria de la I.

A.", dijo Andrew Critch, director ejecutivo de MAISI, investigador de I. A. y matemático. Los investigadores con formación matemática ven una oportunidad para que las matemáticas avanzadas aborden preocupaciones tales como cómo interactúan y cooperan los sistemas de I.

A.; cómo los agentes verifican que se comportan responsablemente y que las salidas son precisas; y cómo los sistemas de I. A. pueden ser diseñados desde la base para ser resistentes incluso a vulnerabilidades y riesgos actualmente no identificados. El Dr. Tsimerman señaló una herramienta de criptografía llamada pruebas de conocimiento cero — un método matemático de proporcionar verificación sobre un sistema sin revelar más de lo necesario.

El Dr. Goldwasser es cofundador de un instituto similar orientado a las matemáticas para la seguridad de la I. A. — el Instituto para la Superinteligencia Responsable (RESI) — que se lanzó en agosto en Cambridge, Mass. El equipo científico fundacional de RESI incluye a Vinod Vaikuntanathan, un criptógrafo de M.

I. T., y Adam Tauman Kalai, un investigador de seguridad y ética de la I. A. que recientemente dejó Open AI.