A divisão padrão 50/50 não é custo-óptima quando os braços de tratamento e controle têm custos por usuário diferentes. Por exemplo, se o tratamento custa o dobro do controle, alocar metade do tráfego ao tratamento não minimiza o custo para uma precisão dada. A alocação custo-óptima equilibra a precisão ganha por sujeito contra o custo do sujeito, que varia por braço.

Este abordagem pode economizar 5% a 15% dos orçamentos experimentais: milhares a milhões em testes em grande escala, ajustando os tamanhos de amostra com base no custo e variância. O método é especialmente relevante em indústrias que usam LLMs, descontos, cupons ou cashback, onde o tratamento impõe custos financeiros reais. Embora o setor tech frequentemente assuma que a experimentação é gratuita, a integração de recursos pagos como IA agente muda isso, tornando os designs conscientes do custo necessários.

No entanto, incentivos comerciais que favorecem velocidade e convenção frequentemente sobrepõem a otimalidade estatística, criando uma tensão entre velocidade e eficiência. O artigo explora quando a alocação custo-óptima se torna valiosa e por que ela permanece subutilizada apesar de benefícios matemáticos e financeiros claros.