“品牌意识到“从营销人员的角度探索数据驱动的数字广告生态系统。
今天的专栏由萨钦·普里撰写迈克菲。
做实验不再是一种竞争优势，而是市场营销的筹码。营销人员总是在某种程度上进行实验——多一些，少一些。
你对你的团队进行实验的方式满意吗?您是否有适当的kpi来度量和加速您的测试方法?你还在努力争取进行实验的资金吗?(你们招聘哪种类型的人才?)
多年来进行实验，我了解到有五个关键支柱以规模运行实验。
1.一定要从客户假设开始
测试学习法最重要的步骤之一是从客户假设开始。例如，你可能通过折扣价格促销展示广告瞄准价格敏感的买家，并假设点击广告的买家准备购买。
如果这是真的，则可能需要测试是否将用户直接与结账直接带来会产生更好的转换。如果测试显示统计上有显着的升力，那么假设是有效的 - 或者在技术上讲，零假设并不驳斥 - 而且您应该考虑迅速推出赢家。
您可以从这种方法中了解很多关于客户行为的信息，并为将来的测试开发假设。对于这个例子，我们可以提出关于购买按钮的位置和处理方法(在折叠之上或之下)、行动召唤(粘性或静态)以及它的外观(高对比度或低对比度颜色)的一系列假设。
迭代测试，直到边缘回报点是您的数字营销投资和表现增长的关键。并且由于用户行为发展，您应该重新测试原始假设，以确保测试结果仍然有效或需要修改。
2.将测试影响整合到财务预测中
为运行实验获得支持和资金的最快方法之一是将A/B测试转化为财务预测。例如，如果您计划运行多个转换率提升测试来推广一种产品，我建议在财务预测中明确地估计并承诺交付一定水平的产品销售。您可能会遇到一些最初的阻力，但是随着您的计划开始交付结果，您将发现更广泛的组织对压力测试越来越感兴趣，并更多地了解您的方法和过程。
你如何估计业务影响？我经常使用的一个简单的漏斗基框架包括：
业务影响估计=实验速度（每月测试的假设数量）*赢得率（已测试的成功假设/总假设的数量）*平均升降机
此框架可帮助我计划，跟踪，基准和估计业务影响。随着时间的推移，您可以开发仪表板以跟踪，基准测试和诊断每个度量标准，以微调和缩放程序。
3.定义明确的KPI和测量框架
所有实验必须具有明确的成功标准与相关的KPI和测量框架，以确保团队知道他们正在解决的是什么以及它们将如何衡量和定义获胜者。
使用次要kpi来更广泛地了解用户行为是一种相当普遍且明智的做法。然而，这不应该影响实验的结果，而是应该为未来的假设和测试提供信息。例如，如果一个实验旨在提高转化率，那么平均订单值(AOV)或相关收益的下降不应该导致测试失败;它可以为未来的测试提供信息，以提高AOV或收入。
因此，重要的是数据和分析团队从假设生成阶段就参与进来，以确保测试设计和数据捕获的结构能够实现有效的度量。我经常看到数据团队是事后参与的，这可能不允许对实验进行准确和可伸缩的读取。我建议市场营销领导者将数据和分析团队整合为核心实验团队的一部分，以促进稳健的测量和连续的假设生成。
4.用纪律和敏捷来管理一条严格的船，以达到规模
我已经认识到，纪律和定义好的过程是成功地进行大规模实验的关键。它不能作为带有未定义或特别流程的副活动运行。
定义的步骤和进程允许测试和卷展览的一致跟踪，后续跟踪和关键路径分辨率。例如，我的一些团队从一个想象式研讨会开始，然后是优先级和影响评估步骤。一旦确定了优先考验，那么该团队将它们移动到测试设计步骤，然后进行测试飞行步骤，直到达到统计显着性。从那里，团队将测试测试到测量和分析步骤。最终，测试搬到了结果，社会化和推出，我的一些团队称之为“银行业”，就像在银行的业务影响中一样。
对于团队来说至关重要，遵循每个实验的所有步骤，即使它是一个快速的对话，因为它建立了组织肌肉和测试结果的可重复性。我的团队通常经营敏捷Scrum（一个在敏捷软件开发中使用的过程），每天都会举行会议，以促进定期测试跟踪，团队讨论和流程采用。
一个重要的一步经常跳过或错过的是社会化和学习文件。我建议定期社会化和庆祝测试结果，以确保观众和绩效学习在更广泛的组织中共享。
5.雇佣多样化的人才，建立正确的文化
这是实验中最重要也是最困难的部分之一，因为需要不同的人才，如好奇的黑客、数据极客、研究人员、工程师、行为科学家、营销人员等等。雇佣和留住如此多元化的人才本身就是一项挑战，但最大的挑战是在他们之间建立化学反应和授权文化，在这种文化中，团队能够自我激励，在人类行为和数据之间做出决定。
根据组织，文化进化需要自上而下和自下而上的有机变化。在这两种情况下，领导人为教练提供了极为重要的是，使他们的团队能够在决策中感受到赋权。我发现工作的一些技术包括参加日常立宪，在门口留下标题，让团队和数据驱动决策。建设性地挑战团队有助于挑战所测试的假设，最重要的是，庆祝胜利，这使得能够为团队提供信心建设和共同成就。
接下来，哪里开始？
从参加和观察一些实验团队会议开始，并根据这个清单进行评估。团队是否从客户假设开始?业务影响以及相关的测试速度、胜率和提升是什么?团队是如何决定获胜者的，它是否遵循了一致的过程?寻找团队活力和任何人才缺口。
为了评估文化，您应该仔细压力测试并仔细观察团队如何做出决定。赋权对实验缩放和速度的成功至关重要。
如果你发现团队仍然在寻找他们的经理来做决定，这就是你的线索和起点。
继萨钦·普里(@spuri79),迈克菲(@McAfee）和adex爱游戏体育骗子changer（@爱游戏体育骗子adexchanger）在推特上。
