每当有人提到扩大 Facebook 广告活动规模的最佳方式是将预算每天翻三倍时，我都会这样做。然后我会度过几天昂贵的日子，我的帐户 CPA 会飙升，我会放弃这个想法并继续下一个。现在我明白这种方法是混乱的，结果是随机的。
从运气转向框架
所有测试的最终目标是改进一个关键指标。第一个难以接受的事实是，任何测试结果都是有价值的，只要它回答了这个问题，“我应该把这个改变推广到整个广告帐户吗？” 即使答案是“不”。这就是我最初的方法失败的原因。它根本没有给我任何答案。
在学习了基础统计和推论统计、大学统计学教授的私人课程以及数十次已发布的 Facebook A/B 测试之后，我学到了很多关于它们的课程。这是我用来设置和运行说实话的测试的确切方法和工具。
有效 Facebook 广告 A/B 测试的 8 个关键要素
1. 选择衡量成功的指标
计算基线转化率。越靠近漏斗顶部，需要的样本越小。
2. 预先定义成功
估计最小可检测效果。
3. 定义正确的样本量
使用样本计算器。将统计功效设置为 80%，将显着性水平设置为 5%。
4. 定义预算
将样本大小乘以每次唯一出站点击的成本。
5.定义周期
通常为2+周。根据每月预算的份额，您可以分配给测试。
6. 随机平均分配样本组
在 Revealbot 中设置两条规则，将广告集随机分配到测试组和对照组。
7. 描述测试
写下你将如何管理测试组。最好在规则中设置。
8. 监控测试组和控制组之间的平等覆盖率
随着时间的推移，份额可能会出现偏差。保持两组的覆盖面相等。
选择衡量成功的指标
我的主要 KPI 一直是 CPA（每次收购成本）。我合作过的所有品牌都非常注重结果。测试任何代理指标，例如 CPC 或 CTR 都没有多大意义，因为 CPC 的降低并不一定会导致 CPA 的降低。
我会将基准转换定义为购买量除以唯一出站点击次数，后者代表人数。
预先定义成功
另一个重要步骤是最小可检测效果——您想要观察的指标的变化。这将告诉您所需的样本量。影响越小，您需要接触的人就越多。
例如，如果每次转化费用为 50 美元，则表示转化率为 1.84%。我想检测到 CPA 下降到 40 美元，这等于转化率增加到 2.30%。最小可检测效果为 0.46%、2.30% 减去 1.84%
定义正确的样本量
功效和统计显着性
在分析测试结果时总会出现一个问题，“观察到的转化率提升是我所做的更改的结果还是随机的？”
将转换的提升与测试的变化联系起来，而实际上并非如此，这与误报有关。为了减少出现误报的可能性，我们可以计算统计显着性，这是对结果不太可能是偶然的置信度的度量。 如果我们承认测试结果有 5% 的可能性是错误的（接受的假阳性率），那么统计显着性就是 100% 减 5%，即 95%。统计显着性越高越好，因为这意味着您可以对测试结果更有信心，而 95% 是您应该争取的推荐显着性水平。
测试中可能出现的另一种类型的错误称为假阴性。它指的是在实际上应该是阳性的情况下得出阴性结果的概率。为了减少出现假阴性的可能性，统计学家测量统计功效，即测试正确得出阴性结果的概率。功效等于 100% 减去假阴性率。人们普遍认为A/B 测试的功效至少应为 80%。
计算样本量
最小可检测效应、功效和统计显着性定义了测试样本。由于互联网的力量，不再需要手工操作。那里有很多免费的计算器，但我正在使用这个。
为了检测到预期的效果，我需要在每个变体中有 13,881 人，这意味着总共有 27,726 人。
定义预算
了解所需的样本量后，您可以估算测试的预算。我的每次唯一点击的平均成本为 0.92 美元，因此预算为 27,726 次唯一出站点击乘以 0.92 美元，即等于 25,541 美元。
定义期间
测试通常至少运行两周，但也可能持续几个月。对照组和测试组应同时存活，以免其他因素影响测试结果。
测试可能很昂贵，我喜欢根据我能负担得起的分配给测试的预算份额来计算时间。
为此，我会考虑最坏的可能结果——例如，如果测试组的转化率下降 50%。让我们看看在这种情况下广告帐户的总 CPA 会发生什么。
假设我每月的广告支出为 20 万美元，我的目标每次转化费用为 50 美元。如果我的测试失败并且转化率下降到其当前值的一半，我的广告帐户的总 CPA 将增加到 52 美元。如果这个结果没问题，那我两个多月就不用跑测试了。我可以在 2-4 周内完成，但我更喜欢更长的时间，所以在本例中是 4 周。
平均且随机地拆分您的样本组
这是一个棘手的问题。 如果没有拆分测试工具，则无法在广告管理器中获得两个相等的非重叠受众。广告管理器中的拆分测试工具允许您将受众分成几个随机组，然后测试广告变体、展示位置和一些其他变量。根据我的经验，这些测试总是比我准备花在它们上的费用要贵得多。他们也不会让您测试策略，因为测试上线后您无法对其进行任何更改。
知道 Facebook 的拆分测试对我不起作用后，我找到了解决方法。我可以随机将广告集分配给测试组或控制组。如果样本足够大，我决定忽略某人可能同时属于测试组和控制组。
如果我选择将自己的广告集分为对照组或测试组，我可能会增加自己的偏见，因此我可以让程序来做。我使用 Revealbot 的Facebook 广告自动化工具将一半的广告集分配给测试组，另一半分配给对照组。我是这样做的：
问题解决了。
但在将广告集拆分到测试组和控制组之前，让我们再创建一个规则来限制测试中的广告集数量。在前面的步骤中，我估计总测试预算为 25,541 美元，占每月总预算（200,000 美元）的 13%。
以下规则会将所有新广告组的 13% 分配给测试。
将此策略添加到我的帐户
点击此链接将此 Revealbot 策略添加到您的帐户。 如果您没有 Revealbot，您可以获得免费试用，或者您只需要自己选择广告集并尽量随机进行以保持测试的纯净。
描述测试
确定您将如何管理测试组。它应该是涵盖所有场景的明确说明。这就是描述的样子：
观察
如果转化率低于目标值的 20%，自动出价广告组的每日预算已增长到 2,000 美元以上，广告帐户的效果会迅速下降。较低的转化率总是会导致较高的每次转化费用。如果我连续三天观察到较高的 CPA，我会用具有相同受众的新广告替换该广告集。虽然新广告集的每日预算显着降低，但广告帐户的购买量却下降了。
假设
如果我将预算减少到每天 1,000 美元，广告集将恢复目标转化率，并且广告帐户购买量减少得更少。
测试场景
1. 如果一个广告组的每日预算大于 $2,000，并且包括今天在内的过去三天的转化率是目标值的 .8，则在广告组名称中添加“[ downscale test] ”。
2. 如果广告集的名称中有“ [downscale test] ”，则有 50% 的概率在其名称中添加“ [test group] ”。
3. 如果广告集的名称中包含“ [downscale test] ”和“ [test group] ”，则将其预算设置为每天 1,000 美元。
4. 缩减五天后检查每个广告组的转化率。
最好在自动规则中设置测试。
评论