是否没有数据科学家大数据就玩不转了?
发布日期:2016-4-11 16:4:29
数据科学家被媒体誉为21世纪最性感的职业,是企业界身价不菲、一将难求的的超级明星,这吓跑了很多准备尝试大数据的企业,实际上没有数据科学家企业一样能够玩转大数据。如今, 一谈到大数据, 一个普遍的说法就是人才的缺乏。 数据科学家成为了21世纪最性感的职业等等。 哈佛商业评论及咨询公司麦肯锡的报告都这么说, 再加上数据科学家们自身也乐意被打上这样的标签。然而, 这种说法, 也让很多准备考虑大数据战略的企业面对大数据的机会望而却步了。 那么, 若缺少数据科学家, 企业的大数据就真得玩儿不转了吗? 其实也未必。 这里, 当然不是说数据科学家不重要。 相反, 数据科学家这个职业在大数据时代十分重要。 在企业中, 数据科学家的工作, 实际上是联系企业的IT技术和企业所在行业专业知识的纽带。 这样的知识交集上的人才, 本身确实匮乏, 而且, 即使大数据又再大的发展,同时具备这样的知识的人才也还是少数。 然而, 就像我们在计算机行业发展的早期, 不能说因为乔布斯, 盖茨这样的人才太少就制约了行业发展一样。 如今, 街边柯达店的小伙子都能用PS修人像, 而我们也不需要求柯达店的小伙子具备编写图像处理软件能力。大数据时代也是一样, Twitter, Google, Facebook那样的大公司, 可负担得起那些高精尖的数据科学家, 而小企业, 也可有自己的方式来更好地利用数据。 下面, 以电子商务的公司为例子, 结合数据科学家的工作, 来看看怎样能够在企业现有能力范围内进行数据方面的工作。 数据科学家的工作, 大致分为三个方面: 1)数据架构的搭建, 2)数据模型的建立, 3)数据分析。 下面我们来看看那些雇不起或者找不着数据科学家的屌丝企业怎样玩转大数据: 数据架构的搭建: 首先, 确定企业对数据的需求点。 对绝大部分商业企业来说, 其实每个业务经理都可以告诉你, 他们所需要的数据就是用户行为的数据, 比如, 用户购买行为, 用户对促销或广告的反应, 用户的社交信息等等, 基本上, 每一类这样的信息, 都可比较容易的进行归类。这里的关键, 就是尽量把需要的数据范围进行限定, 这样即可设定一些简单的数据输入模板, 从而把数据采集和数据整理问题简单化。 这里可采用一些开源工具, 如Hadoop, Hbase, Hive, Pig等, 把各类数据进行整合。 2/8 原则一般是适用的, 也就是, 80%的进行运营支撑的需求可来自于20%的数据。 对企业来说, IT技术人员和业务专家共同的协作, 加上一部分外部咨询的帮助, 应该可搭建一个可用的架构。 数据分析 数据分析的本质, 是把“数据”变成“信息”, 并从中发现对企业运营有价值的东西。 这其实和任何理科或工科的“观察 — 归纳 —关联 — 分析 —验证”的研究方法从本质上是一致的。 从这个角度来讲, 行业的专业知识, 在数据分析时, 更加重要。即使你把欧洲大型强子对撞机的数据给数据科学家, 他也发现不了“上帝粒子”。 国内的很多人都会津津乐道美国百货公司Target通过数据分析给怀孕少女推送婴儿产品的例子,而很多数据分析师或数据科学家在提到这样的例子时, 也在有意无意的进行误导。 其实, 若没有对用户和产品方面的专业知识, 光靠数据分析或数据模型, 是很难做到的。 而事实上, 任何机器生成的模型, 要想实用的话, 也都得需要人工在反馈路径上进行一定程度上的调整。 在数据分析领域, 已有很多的分析工具。 然而, 现在的这些工具, 大多数也还是比较复杂。 需要类似数据科学家或数据分析师这样的专门人员来使用。 因为企业精细化运营的程度普遍不高。 数据分析师或是BI的分析师本来就稀缺, 更不要说精通行业专业领域知识同时具备数据分析工具使用能力的人才了。 一个解决的方式, 就是把常用的分析尽量模板化, 数据的整理尽量简化。 尽量采用Excel这样简单大众的分析工具。 归根结底, 企业进行数据分析的目的, 是为了经营服务的。 简单的工具, 在使用,分享和沟通方面都有优势。 这样的解决方案当然不算得完美, 但若能让具备丰富行业经验的专家以行业经验来弥补数据分析工具的不足, 对企业来说, 也算得上是一个在缺乏数据科学家情况下的可从数据分析中获益的方式。 在大数据时代, 数据科学家的重要性当然是毋庸置疑的。 不过, 就像网站内容管理系统那样, 大型网站可雇顶级工程师来自建系统。 小企业也可利用WordPress这样的系统来满足自身的需求一样。企业在这个人才匮乏的大数据时代, 利用已经有的工具, 结合自身对行业的专业知识, 采取合适的策略, 同样也可从数据和数据分析中获益。对于那些准备淘金大数据的企业来说,还有一个好消息是:ClearStory这样的创业公司正致力于大数据的可视化和易用化,让那些雇不起高水平数据科学家的企业,及非IT部门的业务人员也能使用大数据。正如电脑进入windows时代后,普通用户操作电脑不再需要逐条记忆繁冗的DOS命令行。 数据模型的建立 数据科学家的另一部分工作就是数据模型的建立。 这些模型也许是描述型的模型, 也可能是预测性的模型。 这部分的工作, 也是数据科学家经常被神化的部分。 其实, 这部分工作, 比如说推荐系统, 用户个性化系统等等。 数据科学家所做的大量工作, 在于提取数据的“特征”, 选择合适的模型, 并把它们输入模型, 等待模型输出结果, 再验证, 调整特征的循环。 这部分的工作, 需要第一, 熟悉各类统计模型或者机器学习模型的建立。 第二, 也是更重要的一点, 就是行业知识的了解。 比如一个推荐系统, 最重要的就是把提取用户特征, 提取商品的特征。 如果建模的人对行业知识不了解的话, 那么模型就会很庞大和复杂, 也未必精确。 在这里, 行业的专家, 尽管对建模未必很精通, 他们的市场感觉往往是选择合适特征值的关键。 因此, 对电商企业来说, 招几个学统计的员工(或外包), 再配合企业内部的行业专家, 也可建一些适合企业需要的基本模型。 也许没有Google或Facebook那么地精确, 但对绝大部分企业来说, 也够用了。 这也不失为是一条在找不到合适的数据科学家(事实上精通本行业又精通建模的人才本来也是凤毛麟角)的情况下的解决之道。 上一条: “大数据”误区:一些公司不需要大数据 下一条: 正确的云,过度的炒,泛滥的灾难
|