デフォルトの50/50トラフィック分割は、治療アームとコントロールアームがユーザーあたりのコストが異なる場合、コスト最適化されていません。例えば、治療のコントロールの2倍のコストがかかる場合、治療に半分のトラフィックを割り当てても、与えられた精度のためのコストを最小化することはできません。コスト最適化された配分は、ユーザーあたりの精度獲得とユーザーのコストを均衡させ、アームによって異なります。コストと分散に基づいてサンプルサイズを調整することで、このアプローチは大規模テストで数千から数百万ドルまでの実験予算の5%から15%を節約できます。LLMを使用、割引、クーポン、またはキャッシュバックを行う業界特に関連性があり、治療は実際の金融コストを課します。テックはしばしば実験が無料だと仮定しますが、エージェントAIなどのペイド機能の統合はこの状況を変え、コスト意識の高いデザインが必要になります。しかし、速度と慣習を優先するビジネスのインセンティブは、統計的最適性をしばしば上回り、速度と効率の間の張力を生みます。記事では、コスト最適化された分割が価値を持つときと、明確な数学的および金融的利益があるにもかかわらず、なぜそれが未使用のまま残っているのかを探ります。