La división por defecto de 50/50 no es costo-óptima cuando los brazos de tratamiento y control tienen costos por usuario diferentes. Por ejemplo, si el tratamiento cuesta el doble que el control, asignar la mitad del tráfico al tratamiento no minimiza el costo para una precisión dada. La asignación costo-óptima equilibra la precisión ganada por sujeto contra el costo del sujeto, que varía por brazo.

Este enfoque puede ahorrar del 5% al 15% de los presupuestos experimentales: miles o millones en pruebas a gran escala, ajustando los tamaños de muestra en función del costo y la varianza. El método es especialmente relevante en industrias que usan LLMs, descuentos, cupones o reembolsos, donde el tratamiento implica costos financieros reales. Aunque el tech sector a menudo asume que la experimentación es gratuita, la integración de funciones pagadas como IA agente cambia esto, haciendo diseños conscientes del costo necesarios.

Sin embargo, los incentivos empresariales que favorecen la velocidad y la convención a menudo superan la optimización estadística, creando una tensión entre la velocidad y la eficiencia. El artículo explora cuándo la asignación costo-óptima se vuelve valiosa y por qué sigue sin usarse a pesar de los claros beneficios matemáticos y financieros.