Para ejecutar modelos de peso abierto localmente, los equipos eligen entre Ollama, vLLM y SGLang. Cada motor gestiona las solicitudes de manera diferente. Ollama encola las peticiones mediante FIFO y ejecuta modelos GGUF precuantizados, ideal para desarrollo local y hardware de portátil a través de una API compatible con OpenAI.

Para servir alto tráfico, vLLM utiliza agrupación continua y Paged Attention para almacenar cachés KV. Esto inserta nuevas solicitudes en lotes en ejecución, maximizando la utilización de la GPU para miles de usuarios simultáneos. Mientras tanto, SGLang se dirige a agentes de IA y chats multironda con un programador consciente de prefijos y caché Radix Attention. Reutiliza prefijos de prompt compartidos en lugar de recalcularlos, optimizando bucles de herramientas y salidas estructuradas.

Además, Anthropic anunció planes para marcar textos con marcas de agua que identifiquen contenido generado por IA. Los LLM normalmente muestrean probabilidades de la siguiente palabra aleatoriamente. Con la marca de agua, una función clave restringe los candidatos válidos basándose en una clave secreta y palabras anteriores. La detección verifica si las palabras candidatas coinciden con esta regla en todo el texto, calculando una puntuación de IA a pesar de las preocupaciones sobre falsos negativos.

Entidades Clave: Empresas: Anthropic, ByteByteGo, GitHub | Personas: [PERSON_NAME]

Pregunta: ¿Cómo funciona la marca de agua de texto de IA?

Modifica las distribuciones de probabilidad de la siguiente palabra usando una clave secreta durante la generación, incrustando señales detectables que pueden verificarse comprobando si las palabras generadas coinciden con los candidatos válidos predefinidos en todo el texto.