观察 | 五大技巧助你做好App Store产品A/B测试

2016-05-04 20:02
来源:文公子ASO

1 避免测试样本过小

1

由于产品在AppStore获取用户的途径有限,经常会出现很多产品自然日新增在百级以下,在这种情况下进行A/B测试,由于样本基数小,会导致测试转化数据波动大。如何去预估测试样本的量级?可以根据产品自身的用户基数,误差范围去大概预估,可以利用第三方样品估算工具,Evan是个人比较常用的一款工具(注:需要翻墙)。

2 避免进行多元测试

2

测试时尽可能进行单元素测试,整个过程的数据监控是有效,随会加大测试的工作量,但输出的效果是更为可靠有效。多元测试的问题在于监测难,即使做了需要大量的规划,也很难证明是那个因素在影响购买率。设计页面变动越多,带来的问题是定向监测难。以背景颜色测试为例,第一张截图与原图一样,依序后面四张截图与原图颜色各不相同,并呈现唯一性,这种情况下监测到的数据很难反馈出是那种背景颜色效果最优。如果这种试错成本很高,还是尽量保证让一次测试一个变化,然后进行快速迭代。

3 安装数据追踪工具

如果是简单的数据层面监测,第三方监测工具便可以满足,如友盟/TalkingData;在应用商店层面的A/B测试,我们更多关注的数据是购买率的转化情况,如果你还要进行更多的测试,可以定向开发跟踪和分析软件,监测每个页面的流失数据。

4 A/B测试需要连续进行

当你完成第一个测试时,外部因素可能会对实验数据产生干扰。这时,迭代测试就派上用场,不仅分析确认外部的影响因素,而且要仔细检查变动页面元素的变化情况,确保唯一性,接着,可以开始迭代测试,直至达到你想要的结果。

5 避免在周期性环境下测试

5

所有的测试尽可能控制在正常环境下。季节性的购买习惯、人口结构、市场、产品和竞争对手的变化都可能导致不一样的结果。应用市场变化莫测,要保持快速的迭代优化。要明确的一点,测试是常态,但不要让测试耽误了正常节点的活动,例如圣诞节/元旦等主题活动,做为大厂,你可以配合AppStore的主题活动;对于小厂,可以适当调整元素,迎接节点。如果大家对愤怒的小鸟有关注的话,不难发现他们的icon是随着节日经常变动的。

除了上述几点,另外需要注意的时广告投放,测试期间,对于广告投放的渠道及量级要做适度的控制,不同渠道转化差异很大,不同量级导致的是数据可对照度下降。

Ben

Ben

线上线下专访、稿件发布合作请联系QQ或微信:328624956

相关资讯