HeadlinesBriefing favicon HeadlinesBriefing.com

Amenaza de modelo abierto a los hiperescaladores de IA

Financial Times Companies •
×

En un discurso más temprano este año, el ministro de Relaciones Exteriores de Singapur, Vivian Balakrishnan, describió cómo usa cada vez más IA para organizar su vida. Agentes de IA redactan briefings para él antes de viajes extranjeros, sus discursos e incluso respuestas a preguntas parlamentarias. No estaba hablando de Chat GPT, Claude, Gemini o incluso Grok.

Como 'geek y aficionado' confeso, Balakrishnan fue a Git Hub, descargó código y montó un sistema, luego se comunicó con sus bots a través de Whats App. Una de las ‘incógnitas conocidas’ que S&P Global Ratings outlined la semana pasada que pesa sobre las mayores empresas que impulsan el tren de IA es la noción de que los modelos de peso abierto acortan la brecha de rendimiento con los modelos fronterizos caros. Para tareas relativamente simples, los académicos creen que las SLMs son bastante buenas.

De hecho, los investigadores descubren que las SLMs pueden encontrar la misma -- o mejor -- respuesta a los tipos de consultas que dominan las solicitudes de chat actuales casi siempre, y están catching up rápido en tareas de razonamiento. Además, mientras que el equipo que usan para ejecutar estos modelos -- un Apple M4 Max -- se vende al por menor por alrededor de 15 veces el precio de un kit de inicio de Raspberry Pi 4 Model B 8GB, aún estamos hablando de costos de equipo en el rango de chaqueta Tom Ford, en lugar de algo que se acerque al cheque mensual de un pasante de XTX Markets. Así que podemos ver cómo las SLMs podrían apelar a la gerencia que busca reparar sus resultados finales y reputaciones de control de costos después de que los experimentos de token-maxxing fallaron tan espectacularmente.