# 💡Summary
> [!Info]
> 上秤之前先称一个已知重量的东西,确认秤是准的。
# 🧩 Cues
# 🪞Notes
⏺ AA 实验
简单说:把用户随机分成两组,但两组都不做任何改变,看数据是否一致。
和 AB 实验的对比
| | A 组 | B 组 |
| :------ | :----------- | :------------- |
| AB 实验 | 旧版(对照) | 新版(实验) |
| AA 实验 | 旧版 | 旧版(一模一样) |
AB 实验是"有没有效果",AA 实验是"实验系统本身靠不靠谱"。
为什么要做 AA 实验?
验证实验平台的可信度。两组完全一样的东西,理论上数据指标应该没有显著差异。如果 AA 实验都跑出了"显著差异",说明:
1. 分流不均匀 — 用户分组有偏,比如把高活跃用户集中分到了一组
2. 指标计算有bug — 埋点、数据管道、统计口径有问题
3. 外部干扰 — 有其他实验互相污染,或者样本量太小导致随机波动
一句话总结
▎ AA 实验 = 用"两组都不变"来校准实验系统,确保后续 AB 实验的结论是可信的。
就像