详细过程和原理解读

验组&对照组，指标是否有显著差异。

既然是假设检验，那么就是先假设，再收集数据，最后根据收集的数据来做检验。

先来说说假设。

假设一般成对出现，分为零假设 和 备选假设。

在AB测试中，零假设是：实验组&对照组 指标相同，无显著差异;备选假设则相反，实验组&对照组 指标不同，有显著差异。

举个例子。我们优化了某算法，想提高页面的点击率。针对这个场景的AB测试，零假设就是 新算法&老算法的页面点击率无明显差异，备选假设是 新算法&老算法的页面点击率有显著差异。

再来说说检验。

一般来说，我们是通过具体的指标属性来找寻相应的检验方法。那么问题来了，指标如何分类呢?

指标可以分为两种类别：

1、绝对值类指标。也就是我们平常直接计算就能得到的，比如DAU，点击次数等。我们的一般都是统计该指标在一段时间内的均值或者汇总值，不存在两个值之间还要相互计算。

2、相对值类指标。与绝对值类指标相反，我们不能直接计算得到。比如某页面的CTR，我们是用 页面点击数 / 页面展现数。我们要计算点击数和展现数，两者相除才能得到该指标。类似的，还有XX转化率，XX点击率，XX购买率一类的。我们做的AB实验，大部分情况下都想提高这类指标。

根据指标我们可以知道，该如何计算最小样本量，以及实验周期，以及对应的检验方法。

AB测试详细流程

我们先看一个图，结合这个实验的流程图，我们一点度量实验结果，有非常明显的帮助。但是，指标也要分层级，唯一一个核心指标+多个观察指标。

核心指标用来度量我们这次实验的效果，以及计算相应的样本量。观察指标则用来度量，该实验对其他数据的影响(比如对大盘留存的影响，对网络延迟的影响等等)。

建立假设

建立假设就如同上文所说，我们建立了零假设和备选假设，零假设一般是没有效果，备选假设是有效果。

选取实验单位

大家应该都使用用户粒度来作为实验单位，但是总体说来，实验单位一般有3种。我们不用掌握，但是很多情况下面试官会问到，大家可以作为了解。

1、用户粒度：这个是最推荐的，即以一个用户的唯一标识来作为实验样本。好处是符合AB测试的分桶单位唯一性，不会造成一个实验单位处于两个分桶，造成的数据不置信。

2、设备粒度：以一个设备标识为实验单位。相比用户粒度，如果一个用户有两个手机，那么也可能出现一个用户在两个分桶中的情况，所以也会造成数据不置信的情况。

3、行为粒度：以一次行为为实验单位，也就是用户某一次使用该功能，是实验桶，下一次使用可能就被切换为基线桶。会造成大量的用户处于不同的分桶。强烈不推荐这种方式。

计算样本量

样本量计算，我们需要了解一下中心极限定理。具体书面定义和推导过程，大家可以在网上百度一下就好，我们这里就通俗的解释一下。中心极限定理的含义，就是只要样本量足够大，无论是什么指标，无论对应的指标分布是怎样的，样本的均值分布都会趋于正态分布。

基于正态分布，我们才能计算出相应的样本量和做假设

（编辑：泉州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!