决战大数据（升级版）

• 外叔里嫩

  2020-11-28
  未来是大数据的时代，未来的竞争就是数据的竞争。
• 数据探

  2018-03-31
  如果让我总结其中的精髓，我的秘诀就是：数据分析也要讲究用户体验。简单来说就是，别说是数据产品，哪怕一个小小的数据报告，我们都必须要知道以下5个问题：1.这是什么问题？2.这是谁的问题？3.这个问题现在必须马上解决吗？4.这个问题我们能解决吗？5.我们有足够的数据来解决吗？
• Mikasa

  2019-11-26
  如果没有必杀技，在与高手过招时该用什么招术呢？招术就是针对对手出的招反制他的招，这就是有用的制胜技。所以，当我被问到“首页该如何改版”时，我肯定没有绝对的答案，我可能会反问“你们公司的首页主要起着什么作用呢？”当我被问到“按钮是放在左边好还是右边好”时，我会接着就问：“放在左边和放在右边的区别是什么呢？”当我被问到“企业该观察什么数据”时，我的问题就会变成：“你看数据的目的是什么？”只要问我的人给我的答案是不一样的，那我给出的建议肯定也是不一样的。如果我得到的答案还不足以让我获得足够的信息，那我就会针对答案不断地提出新的问题。为什么我要不断地去问问题呢？原因很简单，就是我想知道问题到底出在哪里，以找出每一个问题背后不一样的原因。这个过程是我在思考问题时常会用到的方法论，我把它称为“迁回"。淘宝vs京东 购物车和立即购买的应用对于电商企业，衡量变动时需要有两个大的前提：一个前提是要保证数据是能够被有效地记录下来的，另一个前提是数据是能够被有效地解读的。不少产品经理在设计自己的产品时，可能会花费很多精力在产品本身的设计上，却没有花费精力去思考如何来衡量产品的成功与否。对于成功与否这个话题，通常只会在他们的产品文档中写上一句类似于“客户体验有所提升”的空话，这样的产品自然不会设计数据收集的点，自然也就没有可以衡量的行为可言。还有一类产品经理设计了数据收集的方案，但是这些数据并没有被实际运用或者只是被有限地使用，那么，这样的衡量也是缺失的不利于进一步的改进。当然，就如格斗ー样，一招之内决定胜负是不可能的，通常一次战斗会持续很多回合，所以我们需要对每一次变动都进行衡量，同时也要对每一次变动有所反馈，用这一数据作为下一次变动的基础。对于整个格斗过程而言，反馈起到了链条的作用，只有通过反愤把变动串联在一起，オ能让整个交动过程向若胜利的方向发展。
• Mikasa

  2019-11-26
  时至今日，在我积累的数据中，已经有超过上万篇关于过去我经验中的PPT及早上收集的电商新闻，如果没有一个非常好的分类标签管理体系，我如何才能做到这一点？所以，要完成这个大数据积累的闭环，要求放进去的数据，一定要能够非常快速、实时地出来。我一直在训练自己怎么使用两三个关键词就能够让我在10秒钟内调出我积累的有效数据。当我想要使用数据帮我做决策时，有效的数据就在手边，这个时候运营数据，即养数据，就已经产生了作用现在，我每天依然在继续收集数据，在这儿我可以透露一下我自己的一个数据收集的“狠招”。在我的微博关注里，我按照两个维度来分类我关注的人：一是他们懂什么东西，即有什么特长；二是根据重要性，进行5-20分钟，或者45分钟关注度的划分。这样划分的意思是，如果今天早上我只有5分，那我就只看重要朋友发布的信息；如果我有10多分钟，我会把重要性为5分钟和20分钟的朋友发布的信息都看完。从收集数据的角度来看：首先，我在选择有效的数据源；其次，我有重要性的选择，所以我能控制我的时同。
• Mikasa

  2019-11-26
  数据自助清洗：paxata
• Mikasa

  2019-11-26
  知道用户买了什么，也要知道用户看了什么没买。granify
• Mikasa

  2019-11-26
  好的问题潜藏了答案1. 先反复解题，厘清选择逻辑：把问题的关键词定义清楚，然后用不同的角度重组。e.g 什么是一份好工作2. 搞清楚已知和未知：花点时间就能找到，你不知道你不知道的；3. 在不确定中做判断：这个数据从哪里来？准确吗？
• Mikasa

  2019-11-26
  同样道理，美国一些经济学家（包括联邦储备局）也在呼吁应该更好地利用实时经济数据，对经济形势作出及时的评估和预测。其实想衡量一个地方的经济水平，除了官方统计的社会零售总额外，在大数据时代，我们也可以见到不少民间创新的数据来源。例如，MIT发起的 Bilion Prices项目，通过收集几百家在线零售商的购物数据，借之衡量通货膨胀；搜索巨头谷歌的价格指数、衡量每周非农业人口的工资汇总情况的 NFPGUESSES；在房产领域，Zillow 追踪房屋的销售和贷款情况，为多变的房产和房贷市场提供实时数据。此外，通过求职网站的职位发布和求职搜索，可以及时把握就业情况，甚至可以预测未来的就业率。另外还有 Pricestats，它是一家由经济学家和学者创建的公司，通过收集在线价格数据，为2个国家以及美国的多个行业提供每日的通货膨胀指标和购买力平价（PP），目的是为了预测重大的趋势变化。
• Mikasa

  2019-11-26
  MECE 拆解问题
• Mikasa

  2019-11-26
  “关窗口”在计算机世界中很容易执行，但在现实生活中却很有难度，尤其是在动态的工作过程中。为什么我会觉得困难？因为我觉得在我们思考的过程中，永远不可能只有一件事情可以做，对于管理者来说尤其如此不断被其他人影响，不断被即时聊天工具的弹出窗口打断，不断被电子邮件提醒去做事…这一切都会让我们的思考过程中断。所以，才会有不少时间管理方面的学者建议，每天处理很多事情的“忙人”可以在一个固定的时间段里去处理电子邮件，以提高办事效率。但是，一旦到了动态的过程中，典型的状态就是在一场谈话或者一场会议中，那就不像不查收电子邮件和不开即时聊天工具那么简单了。谈活的过程是动态的，而且这个过程可能不会严格按照会议主题的规定来进行，而会被各种细枝未节的小问题和各种情绪所干扰，最终导致可能浪费了不少时间，却没有收到应有的效果。对于这样动态的谈话过程，我自己的做法是永远只开一扇“窗"。这个意思是说，在我的谈话过程中，我的大脑中始终会有几个问题被放在首位，这几个问题不会随着谈话的进程而随意改变，这些问题包括：我这次要解决的是什么问题？对方（包括客户、同事等要的是什么？现在提出的方案解决了这个问题吗？在只开一扇“窗”的前提下，如果会议中出现了不符合主题的内容，我一般不会过多参与，或者有意识地去结束这些与会议无关的话题。
• Mikasa

  2019-11-26
  混CEO是没有多余精力来解读页面浏览量（PV）和独立访客（UV）等数据的。他们只需要知道数据是否有问题、反映了什么问题、最近有什么新的发现以及需要我们作出什么样的改变。作为数据分析师，如果不和业务部混在一起，又怎么知道业务部在做什么。........比如，我让数据分析师们在发给我的周报里，一定要讲到业务方的动态。而且，我给他们的考评标准是，千万不要让我看见业务方发过来的周报里面有的内容，而你的周报里没有。我认为，要实现这一要求最基础的出发点是，数据分析师一定要跟业务方沟通才有可能服务于他们通值得注意的是，“通”有两个场景。比如说，现在有一个商业场景和一堆数据，这两者产生关系时，就是商业模式和数据彼此的通”，我们可以称它为“数据中间层”，简单来说，它就是能够敏感反映商业变化的数据群（ Smart Data Set）另外一种更深入的“通”，就是存在于公司组织中的数据。譬如有一个商业问题，但是需要数据A和B、C、D互通，才能解决。举例说明，今天的退款非常多，我会去做的第一件事情可能是去察看营销部门的数据，我看到今天UV猛增，所以退款才特别多，这是可能台理的。但是，我从客服数据中发现一些退款是少量的卖家产生出来的，那就另当别论了，因为这说明这个商业场景也有可能是作弊，此时就需要对营销、客服和风控等多组数据综合起来进行解释。所以，把数据打通，一种是商业理解和数据之间的“通”，另一种就是部门数据和部门数据的交又。......想做到数据的积累和沉淀，想要打通数据，建立合理的系统是不二之选。首先，做好数据安全工作，以保证公司内部不同职位的员工可以察看不同的数据；然后，统一不同部门的数据标准，使公司内部数据有统一的接口，避免混乱；最后，关联不同部门的数据创造机会让数据的运营可以扩散至数据部门之外。晒通过数据来回答这几个问题：业务好还是不好？数据如何...
• Mikasa

  2019-11-26
  运用负能量思考的眼睛取观察别人是如何失败的。...... 有没有看到应该看到的数据，有没有不应该措施的数据。.......这种案例不胜枚举。以我的目常工作为例，在团队给高管的报告的时候，我通常不看报告，而是主要记录高管们“什么时间点“什么时间针对性地做了笔记”“什么时间没怎么听在看手机”。你不要小看这三个数据，当与当时报告的内容对应（关联）起来时，我就能容易地知道在刚才做的报告中哪一部分是不吸引人的和哪一部分是需要改进的。尤其是高管看手机的时间，完全可以算是理论上的负能量数据，但对报告的改进其实非常有价值。再比如说，公司每月有10亿元的交易量，虽然额度已经很大了，但你是否分析过，其实还有2亿元可能的交易量没有做成。为什么因为有人看了不买。为什么不买？通过分析这些负面数据，其实很可能发掘出非常有价值的平台交易增长点。
• Mikasa

  2019-11-26
  别把自己逼到“或”式选择的境地，这在逻辑思考中非常致命。你必须跳出来“为什么是“或”？讨价还价的时候，停一停："为什么是1000元？讨论今晚是否看电影时，等一等：“为什么要看电影？别人说数据增长20%时，想一想：“为什么是20%？”如果想做一名数据分析师，你脑海里就要长期装着这样一个想法“这个数据是怎么来的？”你要打破局限，不要把自己封闭在狭隘的思想中。在未来商业中，谁被逼到"或”式选择境地，往往谁吃亏。... 将自己不成功的原因归结为某件事情没有做好，他们不会想到失败的结果可能是由于自己没做另外一件事。
• Mikasa

  2019-11-26
  如今很多电商高管会询问数据分析师商品的重复购买率是多少。于是，工作人员收集数据来计算重复购买率，却很少想到高管们需要重复购买率是来做什么决定的，这就好比“刻舟求剑”。事实上在世事多变的大数据时代，我们不能只是机械地套用方法或指标。重复购买率有不同的定义，而做不同的决策需要考虑经过不同定义的重复购买率。如果一家投资公司想收购A公司，那么会从重复购买率来看A公司的运营良好程度或用户质量等；如果从A公司本身运营的角度来看重复购买率，那么它更应该关注的是日、周级别的重复购买率的变化趋势，或者当月新增客户有多少人在三个月后进行了重复购买，从而可以衡量出每个月新增及存量客户的忠诚度和质量，进而找出改善的空间。在知道了以上的背景之后，再去选择使用什么数据不是更有的放矢吗？
• Mikasa

  2019-11-26
  我们在做抽样调查的时侯，样本往往从一开始就有最常见的“偏见”一一谁愿意反馈我的问卷，谁的建议就被反映在调查结果中；而不愿意给我反馈的人，他的意见就不会反映在调查结果里。有趣的是，被我们忽视了的那些没有反馈的样本，很多时候却是我们最需要知道的结果。数据缺失（高月薪和数据采集系统）、采样（天平座）、样本数量是否足够与平衡（IT杂志抽样手机系统）、时间（短时记忆）、抽样时的询问方式（亚马逊员工）在调研过程中，如果这个样本在你调研前就是有目的的，那么这份有偏见的数据也是有价值的，比如可以通过交又信息来验证结果是否准确。这在我们身边很常见，比如，你问三个朋友，我是买 iphone还是三星。但首先你得问：“你用的是什么手机？”如果他买了 iphone，却推荐三星，你就要追问为什么了。同样，我现在去询问淘宝"小二”：“你会选择在哪里购物？”他们熟悉淘宝，肯定会受到影响。而如果对“小二”们调研，结果显示更多人愿意去京东、当当购买商品时，这就证明京东和当当确实不错一一起码就某些类别来说是不错的。此时，有偏见的样本对企业仍然存在价值。
• Mikasa

  2019-11-26
  组装你的数据仪表盘我把数据信息的梳理过程，理解为数据世界里的“仪表盘"。比如，在开车时，如果水温过高，仪表盘就会亮灯提示；同样，网站的关键信息也可以监控，在电子商务交易中，行为数据和商业模式之间的逻辑关系组成仪表盘”一一好的仪表盘，对于商业活动中的好现象和不好的现象都会有敏锐的反应。为了方便理解，我想出了两个名词：前端行为数据和后端商业数据者指的是访问量、浏览量、点击率及站内搜索等，是反映用户行为的数 据；而后者更侧重于商业数据，比如交易量、投资回报率、客户终生价值 LTV， Lifetime Value）......某天，某网站发现自己的前端注册量增加了不少，访问量也提高了，但交易量却未见大幅度的提升。原因是什么？估计数据分析师们每天都在思考这个问题，那么，在这里我们就将这个问题进行分解，以寻找相应的处在网站前端的人只知道点击量等数据，比如，谁一直在重复购买？谁影响了5%~15%核心用户群的购买行为？谁在给网站做正面或负面传播？但却很少有人会关注后端的商业数据。如果网站后端交易环节的操作人员只知道卖东西，却不知道提出这几个问题：一个客户登录网站平均停留时间是15分钟还是30分钟，会对将来重复购买的影响大吗？一个客户登录了网站社区和没登录社区，对产生交易量有影响吗？此时，却很少有人会关注前端数据。你发现这中间的问题了吗？行为数据与商业数据没有对接起来于是，前后端数据出现割裂，没有人知道它们的内在关系；作为网站的决策者，不知道网站核心用户群的行为特征，也不知道怎么去刺激核心用户的增加，更不知道从一个用户登录网站之后到离开哪些环节需要疏通的话，不死就真的是万幸了。
• Mikasa

  2019-11-26
  CEO们关心哪3个数据我在面试数据分析师的时候，必然会问他们一个问题：“假如我是一家知名电商的CEO，而今天是星期一早上9点钟，请你给我提供3个数据指标向我证明在过去的一周里，企业运营得一切正常，可以让我踏实下来。你认为，会是哪3个指标呢？绝大多数应聘者对这个问题的回答比较一致：第一个是流量；第二个是交易量；第三个是其他，这个其他包括转化率、交易额等。....通常来说，在我问出问题时，作为数据分析师的你首先要想的是CEO会关注什么数据，是长期的，还是短期的？是风险最大的，还是风险一般的？或者是最近发生了什么事情？以及给CEO提供的数据要有什么注意事项，等等。所以，我要再问问应聘者：“当你坐在面试桌对面给我答案的时侯，有没有想过在星期一的早上，这家知名电商的CEO真正想看的是什么？再想想这个问题，你到底有没有真正听清楚"CEO"“知名电商”“周敏感数据”这些关键词？CEO要的是“踏实他听完了就可以安心地吃早饭了。在面试时，如果面试者不对这几个问题进行询问就贸然回答的话，满分是10分，我只会给5分。因为这个问题里面本身就有很多问题，比如什么是踏实？踏实是一个概念，你不问清楚“踏实"的含义，就给我3个指标，无论如何都是错的。在正常情况下，首先不要急于回答我提出的问题，而是先问清楚什么是实，切勿自己先做假定。以下，我们可以假定一个相对理想的面试场景你反问：“什么是踏实的状况？我回答道：“最近这家电商和另一家电商在打价格战，而它最近又新推出了图书类目，那么CEO自然最关注的是这些图书的业务做得好不好。你再问：“什么是好？是否基于每天来买书的新增用户和原有用户书的数量多少？而且，CEO是希望更多地用书来吸引新用户...
• Mikasa

  2019-11-26
  还原是一个瞄准器数据的本质就是还原，这是收集元数据的关键方法。当我们在进行场景还原时，必须认清数据收集的领域是什么在不同的领域里收集到的数据，可以找到与其所在领域里不同的东西，比如，搜索引擎和社交网络（SNS）得到的数据就是不一样的。而企业首先要做的是，确认用户是不是同一个人，比如在SNS里涉及的很多信息主要都是聊天内容，如果我是做SNS的，我就会更多地去寻找这个人和其他人的关系。他今天跟张三聊了3分钟，明天跟李四聊了5分钟，这项数据在SNS领域里可以获得。但当我们要真实地还原整个人的行为的话，最好要有不同领域作为互补，这会让你掌握更多更全面的信息有多大的能力弄清哪些数据是同一个用户的，这是企业首先必须解决的问题。然后再去关注，收集到的数据的量这么大、广度这么宽，价值在哪里。而当企业不清楚收集到的数据是不是同一个用户的时，那这个数据又有什么用？所以，在大数据里，最重要的还是收集人的数据。.......所以，如何更好地识别各个设备的使用者是否为同一个人，如何更好地理解用户在各个不同场景下表现出来的不同需求，如何更好地理解数据融合后产生的价值，将是未来商业中每一个企业都必须考虑的问题。
• Mikasa

  2019-11-26
  的确，当回归到“数据能够帮助你产生什么价值”这个问题时，如果你自己都没弄清楚，那么就算给你再多的数据，你也只会手足无措。我们身边的大数据现象越来越普遍，数据的广度和深度都呈现出几何级甚至指数级增长的趋势。在思考数据的价值时，我认为，可以从三个维度来考虑。首先，你能否清楚地识别（ Identify）用户的身份？其次，你能否搞清楚所收集的数据对你的价值（ Value）是什么？最后，收集数据时的场景（ Situation）是什么？
• Mikasa

  2019-11-26
  数据报告......必须要知道以下5个问题这是什么问题？这是谁的问题？这个问题现在必须马上解决吗？这个问题我们能解决吗？我们有足够的数据来解决吗？当我“苛刻”地提出“把月度经营报告当成产品来做，目的是让这份报告像 Phone-样好用”"的要求时，整个团队都傻了：报告怎么能像产品一样呢？！那么，为什么数据报告不可以做到行云流水，让人看起来很爽呢？所以，我是这么要求的：首先，报告的前3页一定要吸引人，让人有欲望继续看下去；其次，当别人看到一个数据，心里在猜测数据背后的各种原因时，我的下一页报告就要解答他心中的疑问。因此，如果要用产品管理的理念来运行分析团队的话，必须要问“问题是什么"，并以此作为切入点。接着，解决用户的问题，得到用户的信任，然后就可以做更多的好产品。这是一套做产品的理念，因为产品需要不断送代，并非一劳永逸。那么，我怎么评估报告是否获得成功呢？简单来说，如果一个月度经营报告仅仅5分钟就被pas掉了，那它肯定是不成功的。