本文共字，预计阅读时间。

参赛单位：北京火山引擎科技有限公司

案例名称：某保险集团APP A/B测试平台场景应用案例

案例简介：

该APP作为某保险集团互联网战略的超级APP，随着用户量增大，产品迭代、营销活动的持续优化受到了更高挑战。为解决以上难题，该保险集团携手火山引擎共建APP A/B测试平台，提升用户体验与营销效率。

该APP A/B测试平台作为国内金融业首创全功能A/B测试落地案例，通过产品、模型、策略、灰度发布等不同场景进行数据验证，包含UI优化、文案赛马、页面布局、转化漏斗、Push推送、模型优化、灰度发布等功能，为该保险集团构建了数字化、智能化为核心的精细化运营体系。

创新技术/模式应用：

过去十几年中，保险行业持续线上化、数字化进程，这个过程中，一方面为了验证新技术在实际业务中的能力，需要具备高效、科学、公正的分析技术平台；另一方面，为提升产品迭代率，快速找到用户体验、用户转化最优方案，需要具备支持快速高效对比试验的平台。该APP A/B测试平台解决了以上问题，具体体现在：

1. 科学可靠的分流服务

该APP的A/B测试平台，分流服务更可靠，底层算法对用户群体进行了均匀、随机的分流，从而确保各实验组样本的同质性；分流服务性能更稳定，能支持亿级DAU产品Push实验等高并发请求场景。

2. 先进成熟的统计策略

该A/B测试平台所采用的统计策略，依托于经典统计学的假设检验方法，从置信度、置信区间等多个层面对实验结果进行判断，同时配备以贝叶斯统计原理为基础的实验引擎，提供漏斗分析等多种辅助分析手段，赋能商业决策。

3. 特殊场景下的特型实验

该A/B测试平台不仅支持产品全生命周期中各场景下的实验需求，在各种特殊场景下也能提供特殊的实验解决方案：

（1）可视化实验：通过可视化拖拽形式改变产品、页面布局和各种前端元素，从而完成对照组与实验组的配置，减少A/B测试的研发压力，缩短实验的上线周期。

（2）MAB动态流量调优实验：应用贝叶斯统计原理，可同时提交多种策略（如提供多个Push文案、落地页面等），可智能化动态扩量优胜版本，实现核心指标收益的最大化（如CTR、购买率最大化）。实验开启后，无需人工干预，流量自动向「有可能成为最优」的策略倾斜，根据实时指标变化，动态更新流量配置。

（3）多链接实验 （Split URL实验）：用户访问统一的落地页URL后，将分流至不同的URL落地页，适用于广告投放、活动运营等场景。

（4）推送实验：在活动推送过程中，可配置多个文案、落地页等，并开启实验观测转化效果，提供智能调优的文案赛马功能。

（5）MVT实验（多变量实验）：多个参数的自动化组合，自动探索计算最优解。

（6）父子实验 （关联实验）：子实验的流量均来自于父实验的某一个实验版本。

4. 稳定安全的灰度发布能力

在产品在新功能发布前，采取小流量测试的方式，验证现有功能是否稳定，并可通过开关模式便捷地管理产品内功能的开启、关闭，明显减少线上事故发生。

项目效果评估：

1. 业务侧

该A/B测试平台应用于业务的各个方面，如页面UI改版、各类活动运营、推送运营、APP功能流程更新等：

（1）页面UI改版实验、各类运营页面优化上：该A/B测试平台通过可视化实验的方法，产品、运营和设计人员都可自主进行进行小流量A/B测试。先验证UI新版的有效性，再完整上线的流程，可在技术成本降低的同时，提升UI迭代速度和质量。在某次站内广告测试中，该APP通过可视化实验，用户的CTR提升80%。

（2）推送运营上：需要不断测试如推送人群、频率、文案、内容、图片、用户打开方式等一系列步骤。其A/B测试平台提供了完整的可配置项，推送过程中的所有步骤均以所见即所得的配置，再结合MAB动态流量调优，系统可以自动在多种变量之中寻找最优解（MVT实验）。对此，运营人员只需要定期上线预期更优的推送策略，A/B测试平台即可完成自动分发，自动调优，优化了APP的推送运营流程，提升了整体的推送激活率，在一项保险产品的

推送中，通过A/B测试平台优化流程，该产品购买转化率提升近100%。

2. 产品侧

该APP基于A/B测试平台，目前建立了以下效果能力模块，产品体验、业务能力得到持续优化：

（1）多种实验模块：可视化实验模块、编程实验模块、多链接合并实验、推送实验。

（2）实验控制模块：动态调整实验流量、精确的控制用户分组、实验暂停、一键发布或回滚。

（3）正交实验模块：解决并行进行大量A/B测试的需求与有限流量之间的矛盾。

（4）实验数据统计与分析模块：支持实时数据统计与分析；支持实验数据的科学性分析，包括置信区间、统计显著性分析等；支持实验指标的深度下钻，包括用户维度和事件维度组合下钻，漏斗分析等。

（5）灰度发布模块：支持全平台灰度发布；支持用户与事件定向实验，基于用户标签、事件标签的定向配置分发；支持定时、定量灰度发布。

（6）实验监控模块：支持对实验指标进行实时监控；支持监控触发邮件预警。

（7）A/B测试管理平台：具备系统管理、用户及用户群管理、角色管理、权限管理、配置管理等功能，操作便捷明了。

智能分流实验模块：支持智能分流，根据转化情况，进行AI智能流量分配，支持实时动态流量调整，实时可以调整每个版本分配的流量。

项目牵头人：

官玫 火山引擎金融行业技术解决方案

[Source]

本文系未央网专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文为作者授权未央网发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文版权归原作者所有，如有侵权，请联系删除。