对于是否为Udacity主流程增加筛选器的问题,设计A/B测试、分析其结果,并提供一个高层次的后续实验。
- 实验设计
- 度量选择,列出实验的不变度量和评估度量,解释选择该度量的原因,并说明期望从评估度量中获得的结果;
- 测量每个评估度量的标准偏差,并说明分析估计与经验变异是否类似;
- 计算样本需要的规模
- 计算实验需要持续的时间,并说明开展此实验的风险;
- 对实验进行分析 1)进行合理性计算,对于每个不变度量,对期望观察到的值、实际观察的值及度量是否通过合理性检查给出 95% 置信区间 2)如果通过合理性检验,则继续往下,如果没有通过,则需要说明原因,并找到解决方案
- 通过合理性检验后,对于每个评估度量,对试验和对照组之间的差异给出 95% 置信区间。说明每个度量是否具有统计和实际显著性。
- 对每个评估度量进行符号检验,看每个度量是否具有统计和实际显著性。
- 对结果进行汇总,说明是否使用了 Bonferroni 校正,并解释原因。若效应大小假设检验和符号检验之间存在任何差异,描述差异并说明你认为导致差异的原因是什么。
- 给出建议
- 说明是否需要后续实验