La próxima ventaja competitiva en la IA empresarial depende menos del modelo que elija que de lo que construya a su alrededor. A medida que la IA pasa de la experimentación a la producción, la pregunta central ha cambiado de "¿qué puede hacer el modelo?" a "¿podemos ofrecer esa inteligencia de forma fiable, económica y a escala?". La respuesta depende cada vez más del arnés de servicio: el sistema de ingeniería que rodea al modelo, incluyendo su arquitectura, gestión de memoria, programación y decisiones de optimización.
El punto de partida correcto es la carga de trabajo, no el modelo. Un asistente orientado al cliente, optimizado para respuestas rápidas, tiene requisitos muy distintos a los de un proceso de documentos que puede ejecutarse durante la noche. La producción introduce restricciones como la latencia, la concurrencia, la presión sobre la memoria, la utilización de la GPU, el coste de infraestructura y un tráfico impredecible. Un modelo que produce respuestas marginalmente mejores no es la mejor opción si duplica los costes de inferencia o no cumple los requisitos de latencia. El objetivo es desplegar la inteligencia adecuada, al coste adecuado, para cada carga de trabajo.
Las decisiones de servicio también se afectan entre sí. La arquitectura influye en el uso de memoria, la memoria afecta a la concurrencia, y la concurrencia determina el procesamiento por lotes, la programación y la utilización de la GPU. La memoria de la GPU es un ejemplo claro: a medida que crece la concurrencia, la caché clave-valor puede agotar la memoria utilizable aunque la capacidad de cómputo siga disponible. Añadir más cómputo sin identificar ese cuello de botella simplemente encarece un sistema ineficiente.
La disciplina rectora consiste en medir antes de optimizar, identificar la restricción dominante, abordarla, medir el resultado y comprobar si ha surgido un nuevo cuello de botella. Las técnicas de optimización no deben acumularse por sí mismas. El objetivo es aplicar la técnica que elimine la restricción de mayor impacto para una carga de trabajo determinada.
Fuente: MIT Technology Review AI · Resumido por HeadlinesBriefing