数据分析学习笔记——A/B测试
目录
前言
A/B测试中的统计学方法
假设检验
Levene's Test莱文测试
t 检验（两组均值差异）
实战案例
数据来源及参考资料
代码详解
导入数据
计算ROI
Request检验
GMV检验
ROI检验
结语
前言
什么是A/B测试？说白了就是中学生物实验里常说的控制变量。实验对象分为A组（对照组）、B组（实验组）来测试某个行为的影响。在互联网企业，为了判断某个行为的效益，或者挑选更加合适的方案就会采用A/B测试。A/B测试的核心在于两组样本除了实验条件不一样，其他条件都一样。因此A/B测试依赖如下假设。
- 每个因子水平的数据均呈正态分布
- 案例独立性：样本案例应相互独立
- 方差的同质性：同质性是指各组之间的方差应近似相等
- 从因子水平定义的总体中独立且随机地获得观察结果
A/B测试中的统计学方法
假设检验
假设检验的原理其实是反证法。先对总体提出一个假设（原假设 ，再通过样本数据判断该假设是否成立。若样本数据与原假设矛盾，则拒绝
，接受备择假设
；反之，则不拒绝
。关键逻辑为小概率事件原理。假设检验依赖 “小概率事件在一次试验中几乎不会发生” 的原理：
1. 若原假设成立，那么某个与其相关的事件A发生的概率极小。
2. 若在一次抽样中，事件A竟然发生了，则有理由怀疑原假设的正确性。
也就是我们常说的具有统计学上的显著意义。而这个事件A的概率也就是我们常说的P值。而往往我们还会设定一个显著性水平，这个显著性水平是标准的小概率事件的概率（这么说不知道对不对啊，描述感觉不太严谨），由前人大量的实践得到的。当P值小于这个显著性水平时，则符合假设，因为这个小概率事件的概率比假定的标准还小。当P值大于这个显著性水平时，则怀疑假设，因为这个小概率事件的概率比假定的概率要大，那么原假设便值得怀疑。
Levene's Test莱文测试
Levene's test 主要用于检验多个组数据的方差是否相等，适用于两组或多组数据。
t 检验（两组均值差异）
适用于 正态分布数据 且 样本量较小（n≤30）的两组均值比较
实战案例
对滴滴打车的运营数据进行A/B测试，判断投入优惠卷对ROI、GMV、订单数量（requests）是否有影响。
数据来源及参考资料
工作台 - Heywhale.com
方差分析简介(结合COVID-19案例)
代码详解
导入数据
#数据导入
import pandas as pd
test = pd.read_excel('test.xlsx')
test.head()结果
计算ROI
#计算ROItest['ROI']=test['gmv']/(test['coupon per trip']*test['trips'])
test.head()结果
其实这里有一个问题，这个成本对应的优惠券的投入成本，但是这里gmv是优惠券带来的利润增长，还是总利润呢？如果是总利润，那对应的是总成本。不能把其他行为带来的收益增长算到投入优惠券上去。
Request检验
#levene检验requests是否齐方差requests_A=test[test.group=='control'].requests
requests_B=test[test.group=='experiment'].requestsimport scipy.stats as st
st.levene(requests_A,requests_B)
#配对样本t检验（两独立样本t检验之前需检验是否齐方差，此处不需要）st.ttest_rel(requests_A,requests_B)
GMV检验
#levene检验gmv是否齐方差gmv_A=test[test.group=='control'].gmv
gmv_B=test[test.group=='experiment'].gmvst.levene(gmv_A,gmv_B)
#配对样本t检验（两独立样本t检验之前需检验是否齐方差，此处不需要）st.ttest_rel(gmv_A,gmv_B)
ROI检验
#levene检验ROI是否齐方差ROI_A=test[test.group=='control'].ROI
ROI_B=test[test.group=='experiment'].ROIst.levene(ROI_A,ROI_B)
#配对样本t检验（两独立样本t检验之前需检验是否齐方差，此处不需要）st.ttest_rel(ROI_A,ROI_B)
结语
一起学习，共同进步！