咨询

新手必看!一次高性价比Facebook A/B测试必备的9个要素

发布时间:2022-10-28 16:41:03

Facebook广告的A/B测试旨在帮我们提升ROI,但是它本身也是一笔不菲的支出。想要提升测试的性价比,你需要首先了解这9大要素

1. 选择衡量的基本指标(Baseline Rate)

在做Facebook广告的A/B测试前,你需要先找到基本的转化指标(Baseline Rate)。对于电商卖家来说,CPA(单次购买成本,这里可以被定义为Purchases/Unique outbound clicks)常被作为最关键的KPI。对于品牌来说,CPC和CTR等指标的降低不一定会导致CPA的降低,因此关注这两个指标的意义不大。

当Baseline很大(接近1)或者很小(接近0)的时候,A/B测试很容易检测出差别,如果Baseline在0.5上下,A/B测试的效果就不那么明显了。一般来说,基本指标在转化漏斗的位置越靠上,A/B测试所需的样本量就越小。

2. 预估Minimum Detectable Effect

另一个重要的步骤是找到你想要观察的指标变化的最小可检测影响(Minimum Detectable Effect),这个参数表示了你对实验结果精准度的最低要求。你可以基于此判断所需样本的大小,最小可检测影响越小,你需要的样本人数就越大。和最小可检测影响是1%的测试相比,最小可检测影响是10%的测试肯定更加容易,即需要的样本更小。

例如,你的CPA为50美元,转换率为1.84%。测试组的CPA下降到40美元,那么转化率就增加到了2.30%。最小可检测影响就是0.46%(2.30%减去1.84%)。对于非核心指标来说,最小可检测影响如果低于5%,进行A/B测试的意义就不大了。

图片来自Revealbot

3. 通过功率和统计显著性控制测试的非偶然性(Power and statistical significance)

在分析测试结果时,总会出现一个问题:“观察到的转换提升是我所做的更改的结果还是随机的?”为了减少误报的概率,我们可以计算统计显著性,该指标表示了测试结果的非偶然水平。如果你的测试结果的错误概率是5%,那么统计显著性就是95%。统计显著性越高越好,我们应该将该指标保持在80%以上。

4. 确定正确的样本量

在定义样本数量时,市面上有大量免费的计算器(比如abtestguide)可以供你使用。

5. 定义预算

获得所需的样本量后,你需要进一步进行测试预算。

预算=每次点击的平均成本×预估的样本量

6. 定义测试周期

A/B测试一般运行2周到几个月,对照组和试验组应同时进行。此外,你还需要根据自己能负担得起的预算份额来计算测试周期,比如测试组的转化率大幅下降,你需要测算广告账户的CPA会发生什么变化。

7. 平均随机地分割样本组

你可以通过revealbot等包含分割测试的工具,在Facebook的Ads Manager中分类两个相等的非重叠受众。

8. 描述测试

如果自动竞价广告的费用增长到了每天2000美元以上,转化率低于目标值的20%,广告账户的性能便会迅速降低。转化率也会随之降低,CPA则越来越高。如果你连续3天观察到CPA的增长,建议用一个具有相同受众的新广告组替换广告组。虽然新广告组的每日预算显著降低,但广告账户上的购买量也会有所减少。

9. 监控测试的健康状况

在测试开始后,你需要定期检查测试组和对照组覆盖范围。不稳定的广告支出可能会导致预算的分配不平等,从而导致每个测试组的覆盖范围不等。如果发生了这种情况,你可以在设置中更改每个组标记的分配方式。在尝试降低成本时,你需要尽量避免牺牲功率和统计显著性(power and significance)。

可以参考的测试思路:

  • 暂停广告太早了吗?如果稍后暂停广告组会发生什么?
  • 如果我减少了昂贵但曾经表现出色的广告集的预算,它们会再次表现出色吗?
  • 如果我更积极地推广活动会怎么样?

【相关链接】

如何降低 Facebook A/B 测试预算?试试这3个办法

Facebook广告的A/B测试到底怎么做?这里有一份零基础也可以看的入门指南!