Die Standardaufteilung 50/50 ist nicht kostenneutral, wenn Behandlungs- und Kontrollarme unterschiedliche Kosten pro Nutzer haben. Beispiel: Wenn die Behandlung doppelt so viel kostet wie die Kontrolle, verteilt man nicht die Hälfte des Traffics auf die Behandlung, minimiert damit aber nicht den Kosten für eine gegebene Genauigkeit. Die kostenneutrale Allokation gleicht die pro Subjekt gewonnene Genauigkeit gegen den Subjektkosten ab, die je nach Arm variiert.

Durch Anpassung der Stichprobengröße basierend auf Kosten und Varianz kann dieser Ansatz 5% bis 15% der Experimentierbudgets sparen – tausende bis Millionen bei groß angelegten Tests. Die Methode ist insbesondere in Branchen relevant, die LLMs, Rabatte, Gutscheine oder Cashback nutzen, wo die Behandlung echte finanzielle Kosten verursacht. Obwohl Tech oft annimmt, dass Experimentieren kostenlos ist, verändert die Integration von kostenpflichtigen Features wie agentic AI dies und macht kostenneutrale Designs notwendig.

Allerdings überwiegen Geschäftsanreize, die Geschwindigkeit und Konvention begünstigen, oft die statistische Optimiertheit, was eine Spannung zwischen Geschwindigkeit und Effizienz erzeugt. Der Artikel untersucht, wann kostenneutrale Aufteilung wertvoll wird und warum sie trotz klarer mathematischer und finanzieller Vorteile untergenutzt bleibt.