试验分析评价与Rebay.PDF

试验分析、评估与R @ebay 周春英 Senior Data Analyst, Search Science COE, ebay ebay Experiment Plaorm Controlled A/B 测试 Measure/ Setup Run Complete Evaluaon 财务指标 测试组 用户 用户行为 Control组 商业指标 2 eBay Inc. confidenal Evaluaon Metrics •  财务类指标 •  用户行为指标 •  商业指标 3 eBay Inc. confidenal Why Need Confidence Interval? •  和对比组比较，试验A在某一个指标上有0.45 ％的增长，那么可以 评定试验A 的算法是优于control组吗？ •  Answer: No! •  置信区间: 指样本统计量所构造的总体参数的不确定性的量化，即该参数的 取值范围 4 eBay Inc. confidenal Distribuon 5 eBay Inc. confidenal Simulaon to Construct Confidence Interval 计算样本均值／方差 模拟正态分布 Simulate 10000 次 重复 10000次 获得10000个li值 计算指标lift 取分位数构建CI 6 eBay Inc. confidenal Bootstrap •  财务类指标 •  时间相关的用户行为指标 7 eBay Inc. confidenal Bootstrap to Construct Confidence Interval 样本空间 取样 （有放回） 重复 Bootstrap 10000 次 10000次 获得10000个li值 计算指标lift 取分位数构建CI 8 eBay Inc. confidenal Confidence Interval Tool 9 eBay Inc. confidenal