AB实验讲究竟是什么？

共计 1718 个字符，预计需要花费 5 分钟才能阅读完成。

AB 实验又称为受控实验（Controlled Experiment）或者对照实验。AB 实验的概念来自生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后，比较这两组病人的表现是否具有显著的差异，从而确定测试用药是否有效。

2000 年，Google 工程师将这一方法应用在互联网产品测试中，此后 AB 实验变得越来越重要，逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。

从国外的 Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber 等公司，到国内的百度、阿里、腾讯、滴滴、字节跳动、美团等公司，在各种终端（网站、PC 应用程序、移动应用程序、电子邮件等）上运行着大量的 AB 实验。

这些公司每年进行数千到数万次实验，涉及上亿的用户，测试内容涵盖了绝大多数产品特征的优化，包括用户体验（颜色、字体和交互等）、算法优化（搜索、广告、个性化、推荐等）、产品性能（响应速度、吞吐量、稳定性、延迟）、内容（商品、资讯、服务）生态管理系统、商业化收入等。

因为 AB 实验被引入互联网公司后，应用场景主要是大规模的在线测试，所以也被称作在线 AB 实验或者在线对照实验（Online Controlled Experiment，OCE）。

常见的在线 AB 实验中，用户被随机、均匀地分为不同的组，同一组内的用户在实验期间使用相同的策略，不同组的用户使用相同或不同的策略。

同时，日志系统根据实验系统为用户打标记，用于记录用户的行为，然后数据计算系统根据带有实验标记的日志计算用户的各种实验数据指标。实验者通过这些指标去理解和分析不同的策略对用户起了什么样的作用，是否符合实验预先的假设。如图 1 - 1 所示，图中流程概括了 AB 实验的经典模式。

▲图 1 -1 AB 实验流程

将图 1 - 1 所示的流程应用到产品迭代中，就是将具有不同功能、不同策略的产品版本，在同一时间，分别让两个或多个用户组访问。这些参与实验的用户组是从总体用户中随机抽样出来的，一般只占总体用户的一小部分，而且不同组用户的属性、构成成分是相同或相似的。

先通过日志系统、业务系统收集各组用户的行为数据和业务数据，然后基于这些数据指标分析、评估出相比之下更好的产品版本，最后推广到全部用户。

以图 1 - 2 为例，我们试图通过 AB 实验找出哪个颜色的横幅位点击率更高：A 组保持浅色横幅不变，B 组采用深色的横幅，分析哪个颜色更能引起用户的关注，提升用户的点击率。如果通过实验发现深色横幅的点击率更高，就将深色横幅位推广到全部用户。

当然，在实际应用中，AB 实验的效果评估一般没有这么简单，比如除了点击率之外，还需要综合考虑其他的指标。

▲图 1 -2 AB 实验测试哪个颜色横幅位点击率更高

从不同分类视角来看，AB 实验有着不同的类型。

• 从实验实施的产品形态来看，AB 实验可以分为 App 类型、PC 类型、网页页面类型等。
• 从实验代码运行的机制来看，AB 实验可以分为前端页面类型、后端服务类型等。
• 从实验分流的对象来看，AB 实验可以分为用户类型、会话类型、页面类型、元素类型等。
• 从实验服务调用的方式来看，AB 实验可以分为 SDK 类型、接口服务类型等。
• 从实验内容来看，AB 实验可以分为交互类、算法类、内容类、工程性能类等。

这些是 AB 实验常见的分类方式。当然，AB 实验的分类不局限于以上分类，可以根据实际情况，采用不同的分类方式。不管何种类型的 AB 实验，都应符合分流→实验→数据分析→决策的基本流程。

本文摘编自《AB 实验：科学归因与增长的利器》（ISBN：978-7-111-70713-4），经出版方授权发布。​

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年，有高配

腾讯云新客低至 82 元 / 年，老客户 99 元 / 年

代金券：在阿里云专用满减优惠券