Pembagian trafik default 50/50 tidak biaya-optimal ketika peralatan pengobatan dan kontrol memiliki biaya per pengguna yang berbeda. Misalnya, jika biaya peralatan dua lipat biaya kontrol, mengalirkan setengah trafik ke peralatan tidak meminimalkan biaya untuk presisi yang diberikan. Alokasi biaya-optimal menyeimbangkan presisi yang diperoleh per subjek dengan biaya subjek, yang bervariasi per peralatan.

Dengan menyesuaikan ukuran sampel berdasarkan biaya dan variansi, pendekatan ini dapat menghemat 5% hingga 15% anggaran uji: ribuan hingga jutaan pada uji berskala besar. Metode ini terutama relevan bagi industri yang menggunakan LLMs, diskon, kupon, atau cashback, di mana peralatan nyata biaya keuangan. Meskipun teknologi sering mengasumsikan uji gratis, integrasi fitur berbayar seperti agentic AI mengubah ini, membuat desain kesadaran biaya diperlukan.

Namun, insentif bisnis yang memprioritaskan kecepatan dan konvensi sering kali menimpa optimasi statistik, menciptakan ketegangan antara kecepatan dan efisiensi. Artikel ini meneliti kapan alokasi biaya-optimal menjadi berharga dan mengapa meskipun ada manfaat matematika dan keuangan yang jelas, tetap jarang digunakan.