ABTest总览

最近在公司做接入ABTest前期工作,这篇文章总结了ABTest的一些关键点,供大家参考。
主要包含两部分内容:

  1. 什么是ABTest?
  2. Web应用下的场景、分流策略和数据统计
  3. 接入ABTest的一般工作流程。

本文为工作流程向文章,不讨论具体的技术实现。

1.什么ABTest

A/BTest是一个产品改进的解决方案,直白点就是向市场投放同一产品的两个不同(也可能多个)的实现方案,根据之后的数据统计来分析哪个方案更优,最终目的是帮助相关负责人完成产品方案的决策。
换句话说,ABTest是一个技术手段,其真正目的是辅助产品决策。
因此,本文虽然基于Web应用的场景,但并不代表这是ABTest唯一场景,任何产品方案决策都可以考虑这一方式,其思路是相通的。
同时,既然目的是决策,也并非只有ABTest一种手段来实现,需要因地制宜。

2. Web应用ABTest

一般的Web应用(包括但不限于APP、网站等)的ABTest需要考虑以下三个方面。

2.1 测试场景

Web应用的ABTest的主要场景分类两类,页面分流测试和数据分流测试。

2.1.1 页面分流

页面分流用来测试不同的页面展示或交互风格对用户的影响,如按钮样式、图片、文字描述、页面布局等。
包含两种基本场景:

  • 模块替换

在页面上,让用户要么看到A版本,要么看到B版本,用于测试不同版本对用户的影响。

  • 模块注入

在页面上,让用户可能看到A/B版本,也可能啥也看不到,用于测试新增功能对用户的影响。

2.1.2 数据分流

通常针对后台服务,测试不同的数据、算法、业务逻辑对用户的影响。

2.2 分流策略

即用户基于什么规则访问不同的版本。
主要包含:

  1. 随机:不同用户随机访问不同版本,按特定比例5:5,8:2等分流,无差别实验。
  2. 自定义分流:按特定人群分流,如地区、性别、年龄以及其他用户画像等。

2.3 统计数据

在实施ABTest前,最后一个关键是统计数据类型的确定,也就是我们依据哪些数据来完成最终的产品决策,注意的一点是,统计数据是在实施测试之后获得,但统计数据的类型必须在实施前确定。
一般来说,通常的电商网站的统计数据类型包括页面浏览量(PV),独立访问用户数(UV),点击量(CT),下单量,下单率等等,这需要根据各自的产品场景来作出决定。

3. 工作流程

一般的ABTest工作流程如下:

  1. 具体场景:当下测试的产品场景/业务需求
  2. 目的(决策目标):本次测试的最终目的
  3. 统计数据类型(决策依据):本次测试需搜集的数据类型
  4. 解决方案:支撑实验通用解决方案来源(三方、自研等)
  5. 开发部署
  6. 统计分析
  7. 决策

以上。

参考

  1. A/B testing
Comments
Write a Comment