La répartition par défaut 50/50 n'est pas coût-optimal lorsque les bras de traitement et de contrôle ont des coûts par utilisateur différents. Par exemple, si le traitement coûte deux fois plus que le contrôle, allouer la moitié du trafic au traitement ne minimise pas le coût pour une précision donnée. La répartition coût-optimal équilibre la précision gagnée par sujet contre le coût du sujet, qui varie selon le bras.

Cette approche peut permettre d'économiser 5 % à 15 % des budgets expérimentaux : milliers à millions dans les tests à grande échelle, en ajustant les tailles d'échantillon en fonction du coût et de la variance. La méthode est particulièrement pertinente dans les industries utilisant des LLMs, des remises, des bons ou du cashback, où le traitement impose de vrais coûts financiers. Bien que le secteur tech suppose souvent que l'expérimentation est gratuite, l'intégration de fonctionnalités payantes comme l'IA agente change la donne, rendant les designs conscients du coût nécessaires.

Cependant, les incitations commerciales favorisant la vitesse et la convention l'emportent souvent sur l'optimalité statistique, créant une tension entre la vitesse et l'efficacité. L'article explore quand la répartition coût-optimal devient précieuse et pourquoi elle reste sous-utilisée malgré des bénéfices mathématiques et financiers évidents.