AB实验的高阶技法（一）：搞定“脏数据”的特种兵——非参数检验
—关注作者，送A/B实验实战工具包
在 AB 实验的世界里，T 检验就像是厨房里的那把菜刀。它好用、顺手，切菜（均值）、切肉（转化率）都能干，只要食材（样本量）够多，它几乎无所不能。
但是，当你面对一些**“奇葩食材”**时，菜刀就卷刃了：
- 场景一（土豪捣乱）：A 组里混进了一个“神豪”，充了 100 万，其他人只充 10 块。A 组均值瞬间被拉高，方差爆炸，T 检验告诉你“不显著”。
- 场景二（样本太少）：做 B 端实验，一共就 30 个客户。T 检验要求正态分布，但这 30 个数据歪七扭八。
- 场景三（刁钻指标）：老板不看均值，非要问：“A 组的P99 延迟是不是比 B 组好？” T 检验两手一摊：“我只会算均值。”
这时候，你需要扔掉菜刀，换上更精密的**“特种兵武器”**——非参数检验。
它们不关心数据是不是正态的，也不在乎数值具体是多少，它们用排名、模拟、穷举等“骚操作”来挖掘真相。
今天，我们就来盘点五位身怀绝技的特种兵。
1. 曼-惠特尼 U 检验：专治“土豪”的排名大师
(Mann-Whitney U Test)
它的绝活：“我不看你有多少钱，我只看你排第几。”
痛点：
T 检验是数值敏感的。A 组有一个人充 100 万，均值就被拉偏了。
解法：
U 检验把 A 组和 B 组所有人拉到一起，按充值金额从小到大排个序。
- 充 100 万的那位土豪，是第 1 名。
- 充 1000 块的那位小资，是第 2 名。
- 重点来了：在 U 检验眼里，第 1 名和第 2 名的差距，只是**“1 个身位”**，而不是“99 万 9 千块”。
效果：
通过把**“数值”转化为“排名 (Rank)”**，土豪夸张的金额优势被瞬间抹平了。如果 A 组的整体排名依然显著高于 B 组，那就说明策略真的有效。
适用场景：
GMV、人均时长、打赏金额等极度长尾、含离群值的数据。
2. 置换检验：暴力破解的模拟大师
(Permutation Test)
它的绝活：“如果我也能蒙出来，那你就不是真的。”
痛点：
样本量太小（比如 N < 20），数据分布奇形怪状，任何公式算出来的 P 值都不可信。
解法：
它采用了一种**“平行宇宙”**的逻辑：
- 现实世界：A 组比 B 组高 5%（这是观察到的差异）。
- 假设：如果 A 和 B 真的没区别，那这个 5% 纯属运气。
- 模拟：既然没区别，那我把 A 组和 B 组的标签撕下来，随机乱贴。
- 穷举：我乱贴 10,000 次，看看有多少次能“蒙”出 5% 的差异？
- 如果 10,000 次里，只有 1 次蒙出了 5%，说明现实世界发生的概率极低（P < 0.0001），结论显著！
适用场景：
小样本实验。当样本少到你不敢用任何公式时，用它最稳。
3. 自助法：无中生有的克隆大师
(Bootstrap)
它的绝活：“拔一根毫毛，变出千军万马。”
痛点：
T 检验只能算均值的差异。但老板非要问中位数、P99、前 10% 用户的留存有没有显著差异。这些复杂的指标，教科书里没有 P 值公式。
解法：
Bootstrap 说：没关系，我有克隆术。
虽然我只有这 1000 个用户的数据，但我可以有放回地抽样。
- 我从这 1000 人里随机抽，抽完放回去再抽，凑够 1000 人，算一个 P99。
- 重复 10,000 次，我就得到了 10,000 个 P99。
- 这就构成了一个分布，我就可以算置信区间了。
适用场景：
任何非均值的刁钻指标（P90/P99、比率的比率）。
4. 费舍尔精确检验：见微知著的显微镜
(Fisher’s Exact Test)
它的绝活：“在原子层面数数。”
痛点：
你想对比 A/B 两组的App 崩溃率。
- A 组：1000 人，1 人崩溃。
- B 组：1000 人，0 人崩溃。
普通的卡方检验（Chi-Square）会报错，因为它要求每个格子的期望数大于 5。
解法：
费舍尔检验不搞近似估算，它利用超几何分布，直接算出“A 组 1 个、B 组 0 个”这种极端情况发生的精确概率。它就像显微镜，专门看那些极微小的差异。
适用场景：
极低转化率指标（崩溃、投诉、退货），或者极小流量实验。
5. 配对 T 检验 / 符号秩检验：照镜子的对比大师
(Paired T-Test / Wilcoxon Signed-Rank)
它的绝活：“我不跟别人比，我只跟昨天的自己比。”
痛点：
普通的 A/B 实验是 A 组（张三）和 B 组（李四）比。
但有时候，我们想看同一个用户在策略前后的变化。比如：给这 100 个用户发了优惠券后，他们自己的购买频次是不是比发券前高了？
解法：
它计算的是Diff = (发券后 - 发券前)。
它消除了人与人之间的差异（张三本来就比李四爱买），只关注变化量。
- 参数版本：配对 T 检验。
- 非参数版本：符号秩检验（Wilcoxon Signed-Rank）。
适用场景：
自身对照实验。
总结：特种兵选拔指南
面对棘手的数据，请按这张**“作战地图”**选人：
记住：T 检验是常规武器，非参数检验是特种部队。当常规武器失效时，特种部队往往能给出更稳健的结论。
如果这篇文章帮你理清了思路，不妨点个关注，我会持续分享 AB 实验干货文章。