9.1 KiB
12 | 制定产品成功指标
约翰 · 道尔（John Doerr）是硅谷最牛的风险投资人，是谷歌、亚马逊、网景、升阳电脑等公司的早期投资人，更在1999年投资谷歌时，教给了创始人成功指标（OKR）的概念，帮助谷歌达到了今天的高度。2018年4月，他出了一本叫作《以你在乎的作为衡量指标》（_Measure What Matters_）的书，专门讲成功指标这件事。
他在书中指出：指标是为了定义你想要完成的目标，需要表达清楚在什么期限之内、要达到什么具体的、可衡量的结果。 换句话来说，一个好的指标应该是像“2018年底之前实现100万日活”这样的，而“让用户多花时间在APP上”、“争取用户规模达到100万”都因为缺少了关键信息不能算是一个好指标。
我们经常会说，作为一个产品经理，当你确定了正确的成功指标，你就成功了一半。
比如，你是电商，你的成功指标应该是下单用户数，而不是总的用户数量。因为，你可以让大家下载APP抽奖赢取福利，但是大家下载后并没有下单，那最后即使你成功积攒了千万用户这个公司也依旧无法做下去。因此，制定了错误的成功指标，进而导致了后续的产品策略失误，最终的结果就是产品的失败。
假设微信朋友圈的成功指标是，用户在微信朋友圈花的时间。为了达成这个目标，微信向你推送了更多花时间的内容（例如，文章、视频），却减少了你所关注的朋友发的文字状态或者图片内容。这样看似增加了你在微信朋友圈花的时间，但是却忽略了你使用朋友圈的目的是和朋友互动。
那么，当你的需求得不到满足时，你就会减少在微信朋友圈花费的时间，甚至放弃微信朋友圈，所以单纯采用用户花费的时间多少作为成功指标最终起到了反作用。这也恰恰说明了产品的成功指标要和实现的用户需求相契合。
其实，有的时候产品所要满足的用户需求并没有改变，只是产品阶段不同指标也会不一样，那么你应该怎么判断制定的指标是否正确，又怎么用指标作出产品决定呢？
接下来，我用这个微信朋友圈添加新功能的例子来跟你解释这个问题。
案例： 如果你是微信朋友圈的产品经理，现在你要在朋友圈加一个可以用表情包评论的功能，你需要通过制定这个功能的成功指标、进行A/B测试，来确定这个功能到底值不值得发布？
首先，明确产品的成功指标是什么。
第一步，弄清楚整个产品的最高目标。
如果我是微信朋友圈的产品经理，我会从微信的核心指标开始，毕竟朋友圈是微信的一个功能。假设微信的核心指标就是用户的活跃程度，包括用户评论、分享、发消息、发图片等用户行为。
这实际上是一个非常复杂的指标，需要考虑每项用户行为的权重，比如评论相当于几分、分享相当于几分。假设，我们已经通过用户数据、调研等方式确定了这个衡量指标是： 用户的总活跃分= 评论×1 + 分享×0.5 +发消息× 1。
朋友圈的设计初衷也是希望用户通过这个平台分享自己的生活、增加朋友间的互动，以此来增加用户的活跃程度，从而提升整个微信的总活跃分。
第二步，思考你的产品功能还有哪些指标需要注意。
我们已经明确了朋友圈的核心目的是为了提升微信用户的活跃度，增加微信的总活跃分。另外，微信朋友圈正计划增加在用户发的状态间穿插广告的功能，即每隔几个状态就穿插一条广告，所以我们希望用户可以多刷几条朋友状态，以提高穿插广告的曝光量，所以用户浏览朋友状态的数量也是一个指标。
第三步，思考新功能可以解决的问题和上面列出的几个指标有什么关系。
比如，在朋友圈加了一个可以用表情包评论的功能，以降低朋友间互动的门槛，帮助用户更方便地发表评论。
通过表情包评论的功能，发表评论的用户可以通过一个有意思的表情，表达用文字无法传达的情感，这对他们来说意义非凡。
而对于发表状态的用户来说，以前一条状态可能只有两条文字评论，但现在因为表情包降低了回复门槛，评论数增加到10条甚至更多了。这样，发表状态的用户会感觉到朋友们都很关注他，这也会激发他再次发状态的激情，最后的结果就是增加了微信的总活跃分。
第四，思考反指标是什么。
反指标（counter metrics）是指你的产品带来的负面影响。 假设微信还会对朋友圈的内容质量打分，那么这个使用表情包评论功能的反指标就是降低了朋友圈内容质量分数。
因为以前大家使用纯文字交流时，都比较“走心”，交流的内容也很有深度，而现在几个简简单单的暴走漫画、卖萌表情就可以代替语言， 反而让交流流于表面，丧失了原本的厚重感，所以就会降低整个朋友圈的内容质量分数。
通过对成功指标的分析， 我们明确了这个新功能的成功指标和反指标：
- 成功指标是：提升微信的总活跃分和用户每天浏览朋友状态的数量；
- 反指标是：降低了朋友圈内容质量分。
然后，进行A/B测试验证新功能对产品的影响。
我们设置了实验组和对照组，实验组增加了这个功能，而对照组没有，其他条件一样，然后观察两组成功指标和反指标的变化情况。
如果实验组的成功指标增加显著，而且反指标被控制住了，说明这个功能起到了我们想要的效果。
一般情况下， 我们会设定一个指标提升的具体目标，比如5%，这个量化标准是非常重要的。如果新增加的功能对成功指标的提升低于这个目标，那这个新功能是不能算作成功的，是没有必要添加的。
比如，我们花了两个月的时间只提升了0.1%，那么就应该认真考虑有没有必要继续花1个月优化这个功能。这时，我们通过数据分析和估算发现，继续优化这个功能并不能达到提升5%的目标，那后续的优化就根本不值得了，需要当机立断砍掉这个功能。
这里需要注意两个问题:
-
如果你的产品有多个指标想要提升，你需要将这些指标按照重要性进行排序，方便出现问题时权衡取舍。
以微信朋友圈添加表情包评论功能为例，通过分析已经明确了成功指标和反指标，如果你的测试结果发现，成功指标中的微信总活跃分下降了、用户每天浏览朋友圈状态的数量增加了，那你应该怎么权衡取舍呢？
一般情况下，我们会确保新添加的功能不会影响整个产品的总指标，选择放弃这个新功能。但是，这个案例并没有这么简单，因为我们的假设是：广告穿插在朋友圈的状态之间，用户浏览朋友状态的数量增加了，也就意味着用户浏览的广告数量增加了，那无疑将会带来更多的广告收入。所以，这在这个案例里面，产品经理需要权衡是整个产品的成功指标重要，还是通过广告获取更多的利润更重要。
往往这样的决定已经超出了产品经理所能处理的范围，需要公司最高级别的领导来决策了。公司高层可能会说，我们现在的收入一直上不去、股票大跌，我们必须赶快扭亏为盈，那广告带来的收入就更重要了；公司高层还可能会说，我们要以用户为第一原则，不能为了短期利益损害用户的信任，那整个产品的总指标就更重要了。当然，如果你是创业公司CEO，这样的决定就需要你自己做了。 -
A/B测试的时间需要根据具体的产品情况而定，过短的测试时间得到的指标不具有稳定性，需要等数据稳定后再做决定。
比如表情包评论的功能， 可能大家一开始因为新鲜使用频率比较高，各项指标都非常好看； 但是过几天用户发现朋友圈的评论全都是各种表情包，并没有实质内容和有价值的讨论，所以逐渐丧失了兴趣，导致指标大跌。那就需要延长A/B测试的时间，等指标稳定后再做决定。
总结
今天这篇文章我以微信朋友圈添加使用表情包评论的功能，跟你分享了制定产品成功指标大致可以分为4步：
- 明确整个产品的最高目标；
- 思考这个新功能的小指标有哪些；
- 明确这个功能是如何提升整个产品的总指标和小指标的；
- 明确反指标是什么。
确定了产品的成功指标后，需要进行A/B测试，这里还有两个问题需要注意：
- 在指标之间进行权衡取舍；
- 要注意A/B测试的时间，需要等数据稳定后再做决定。
思考题
如果你是抖音的产品经理，现在想加一个加强版的美颜功能，你应该如何制定产品的成功指标？欢迎你给我留言。