HeadlinesBriefing favicon HeadlinesBriefing.com

A/B测试成本最优流量分配

Towards Data Science •
×

默认的50/50流量分配在治疗组和对照组每用户成本不同的情况下并非成本最优。例如,如果治疗成本是对照的两倍,将一半流量分配给治疗并不能最小化给定精度下的成本。成本最优分配通过权衡每个受试者获得的精度与受试者的成本来平衡,且因臂而异。通过根据成本和方差调整样本量,此方法可节省5%至15%的实验预算——在大规模测试中可节省数千到数百万。该方法在使用LLM、折扣、优惠券或返现的行业尤其相关,因为治疗会产生真实的财务成本。虽然科技界常假设实验是免费的,但集成付费功能(如代理AI)会改变这一点,使得成本感知设计变得必要。然而,优先考虑速度和惯例的业务激励往往凌驾于统计最优之上,造成速度与效率之间的张力。本文探讨了何时成本最优分割变得有价值,以及尽管有明确的数学和财务利益,为何它仍然鲜为人知。