AB测试：新用户引导

实验背景：完成了产品 “Aha 时刻”，也就是真正体验到产品核心价值，就是有很大概率留下来的用户。所以在APP新用户引入之初，就引导用户去发现产品的价值，有助于提升新用户的留存。不同的引导方式可能有不同的影响，于是设计新用户引导的AB实验来找一个最优解。

以娱乐直播间为例，产品的核心价值是提供情绪价值与社区归属感，新用户引导环节的设计应该尽可能让用户接触直播间并点关注，或者发言产生互动。

1.实验假设与核心定义

实验目标：对比3种不同引导方式（弹窗引导、分步引导、视频引导），找到最优方案，进而提升新用户留存率。

指标选择：核心激活率。核心激活用户指完成产品“Aha时刻”的用户，这里的AHa时刻指关注直播间+发送弹幕。

护栏指标（防止实验产生负面影响）：APP崩溃率、引导立即关闭率、用户投诉率

实验假设：原假设H0：3种引导方式的核心激活率没有差异；备择假设H1：分步引导 / 视频引导的 7 日核心激活率显著高于传统弹窗引导（预期提升 15%）

2.实验分组与变量控制

3.最小样本量计算

对于二分类指标（比例类的指标），最小样本量的公式是：

基线转化率p：当前弹窗引导的核心激活率为35%；

预期提升幅度：在原来的基础上提升15%，也就是从35%提升到40.25%；

绝对差值：40.25%-35%=5.25%；

显著性水平：0.05，95%置信度，通用标准；：1.96双侧检验的Z值；

统计功效1-：0.8，通用标准；：0.84：功效对应的Z值；

带入公式：最小样本量n = 2*（1.96+0.84）^2*0.35*（1-0.35）/ （0.0525）^2 ≈ 1294

最终样本量的确定：3组总样本量 1294*3 = 3882

4.回收结果

最终有效样本如下：

卡方计算：

= 11.05

自由度计算：

df = （行数-1）*（列数-1）=2

p值计算：

根据卡方= 11.05，自由度df=2，使用 Excel 函数CHISQ.DIST.RT(11.05,2)计算得：p值≈0.004

显著性判断：

本实验 p 值 = 0.004 < 0.05

结论：拒绝原假设 H₀，三组的 7 日核心激活率存在统计显著差异

5.两两比较

整体卡方检验显著只能说明 "三组之间有差异"，但不能说明 "哪两组之间有差异"，需要进行两两比较，并使用 Bonferroni 校正避免假阳性爆炸。

校正后显著性水平：

共进行 3 次两两比较（A vs B、A vs C、B vs C），因此校正后的显著性水平：

/ 比较次数=0.05/3 ≈ 0.0167

两两比较计算：

A 组 vs B 组（弹窗 vs 分步引导）

计算卡方值：χ²≈9.72，自由度 df=1，p 值≈0.0018

p=0.0018 < 0.0167 →差异显著

分步引导组激活率比对照组高 6.01 个百分点，相对提升 17.1%

A 组 vs C 组（弹窗 vs 视频引导）

计算卡方值：χ²≈3.89，自由度 df=1，p 值≈0.0486

p=0.0486 > 0.0167 →差异不显著

视频引导组激活率比对照组高 3.41 个百分点，但未达到校正后的显著性水平

B 组 vs C 组（分步 vs 视频引导）

计算卡方值：χ²≈1.98，自由度 df=1，p 值≈0.159

p=0.159 > 0.0167 →差异不显著

6.统计结论与业务决策

统计结论

整体卡方检验 p=0.004<0.05，三组激活率存在显著差异

分步引导组（B 组）的激活率显著高于对照组（A 组）（p=0.0018<0.0167）

视频引导组（C 组）与对照组无显著差异（p=0.0486>0.0167）

分步引导组与视频引导组无显著差异（p=0.159>0.0167）

全量上线分步引导方式

核心依据：分步引导能显著提升 7 日核心激活率 17.1%，且次要指标（7 日留存率从 18% 提升至 26.2%）无负面影响

视频引导虽然有提升趋势，但未达到统计显著性，且开发和维护成本高于分步引导，暂不采纳。