大数据、云计算颠覆企业的“隐秘后台”
发布日期:2016-3-30 11:3:37
以服务器为代表的众多大企业鲜为人知的“隐秘的后台”,正在上演一场什么样的变革? 2013年6月20日,阿里巴巴最后一台小型机下线! 自2009年高调宣布去IOE战略以来,阿里巴巴集团在2012年实现了用开源的MySQL数据库替换Oracle数据库。如今,对为支付宝用户服务了5年的最后一台小型机的欢送,则标志着阿里巴巴“去IOE运动”(意为替代IBM、Oracte、EMC公司的产品)的又一阶段性胜利——采用PC-Server承载MySQL数据库,支撑大并发大数据量的核心业务系统。全新的IT架构,正在让阿里巴巴变得更加开放、灵活、高效。在2012年11月11日的“双十一”促销中,淘宝取得191亿总交易额的背后,其支付宝核心数据库集群处理了41亿个事务,执行285亿次SQL,生成15TB日志。正如支付宝在新浪的官方微博中写道的那样,“支付宝安全可靠的服务背后是先进的技术。” 淘宝拥有超过2万台PC-Server(2011年数据),支撑起了191亿交易额的峰值单日计算量,及背后7800万包裹的物流配送。服务器对互联网行业企业的基础支撑性作用,可见一斑。在社会信息化环境中,传统企业互联网化进程正在加速。伴随着越来越多的行业、企业、应用的IT架构向互联网学习和靠拢,未来将会有更多的小型机被PC-Server替代。从大型主机到中型机、小型机,再到PC-Server,服务器的体积越变越小,但是其整体性能却迅速激增。一台PC-Server的价格仅为小型机的1/10左右,但是计算能力却差不了太多。而且,PC-Server的轻巧灵便的体积,可让IDC拥有更低的能耗比、更高的能效比。 2013年6月22日,也就是阿里巴巴最后一台小机下线的第3天,EMC中国区副总裁陈毅威在新浪微博中写道:“小型机已变成IT发展中已经过去的历史。再见小机!” 重新定义服务器 管理大师德鲁克曾经说过类似的话:大型企业的灭亡,往往不是自身销售体系出问题了,而是客户需求发生了根本性变化。同样,服务器市场多元时代的到来,正是因为企业级客户对服务器(如阿里云服务器)的需求发生了结构性的变化。在互联经济时代,企业CIO们从商业的视角重新审视企业原有的IT基础架构,根据实际需求和业务应用,给予了自己的判断——服务器不再是躺在机房里毫无生命的黑盒子,而且实现技术商业的重要因素。因此,对服务器进行了重新定义。 中国医药集团(以下简称“国药集团”)曾经创下一年内买进100多家公司的纪录,这对集团管控提出了十分严峻的要求。“必须在集团层面将IT转向云服务模式。”国药集团信息技术管理部副主任、国药控股股份有限公司原信息技术管理部部长曹国钧认为,传统的IT架构已经无法满足企业发展需求。在云架构中,服务器的角色也发生了改变:首先是成本构成的变化,原来只需要关注硬件购买成本,维护成本,现在可以扩展成本反而成为重点;其次是分配方式的变化,原有的按应用分配,变成了按资源分配;再次是采购模式的变化,从按项目采购变化为按需求采购。这意味着整个服务器向“云端”迈进。 在全新的云架构下,国药集团总部实现了IT资源的统一调度、统一配置,下属各个业务部门和分子公司提供云服务。回归至商业层面,以服务器转型为基底的IT基础架构重塑,从2009年至今,帮助国药集团实现从90多家分子公司到300多家、从400多亿营业额到1350亿的快速扩张。这种积极的扩张策略,带动国药集团完成了对上下游产业链及相关产业的布局,一举实现从传统医药分销商向大健康服务提供商的转型。不仅顺利迈进千亿俱乐部,也奠定了其作为中国最大的药品以及医疗保健品分销企业的行业地位。北京网聘咨询有限公司(以下简称“智联招聘”)正在尝试“混合云”模式。在将近1000多台PC-Server托管之后,其副总裁石鹏尝试着从应用和基础架构上做调整——将企业现有计算资源与公共云(如阿里云)服务结合使用。 原来,智联招聘每年都会经历春节过后的高峰期。按照传统做法,智联招聘的服务器计算资源需按照峰值状况部署,其中一部分设备和资源会在一年中的其他时间闲置,造成极大浪费。而在混合云模式下,“我们可在需要时直接采购计算资源,这样不仅可提高资源利用率,还可降低硬件更新换代、避免采购周期长带来的不便。”石鹏说道,“但这对架构可扩展性的要求提升了。”对石鹏来说,现在还需要考虑移动化和社交化带来的非结构性数据,及大量的移动端访问需求。 “移动互联网带来了终端的智能化,终端反过来也会影响到后端的架构。”Marvell集团副总裁张晖说道。云计算、大数据、移动化等技术的兴起,给企业带来了海量的内容产出和数以万计的应用,及不同设备间共享信息的协同需求,需要以服务器代表的更多、更强大的后台设备来支撑。 多选时代来临 据传IBM曾与联想接洽,商谈x86服务器业务出售事宜。虽然此传言未得到明确回应,但是或许可从二者的一些举措中寻得佐证。IBM于2013年5月14日在北京宣布成立全球首个IBM Power Systems Linux中心,持续投入Linux生态系统建设。IBM系统与科技部Power Systems总经理Colin Parris表示:“Power/Linux将成为x86架构应用服务器的理想升级换代平台,并满足大数据、开源和行业解决方案工作负载的需求。” 联想集团企业级业务目标Timeline中则明确提道:“2012~2013年发力通用型、定制化服务器……2013-2014年x86服务器挺进业务前三……”联想集团副总裁、中国区大客户事业部总经理童夫尧曾谈道:“并购IBM PC业务之后这么多年,联想没闲着,一系列大大小小的并购一直在做。联想除了给客户提供丰富多彩的终端设备之外,也会开始关注于后端的IT基础架构。”IDC调研数据显示:2012年第3季度,x86平台产品虽然出货量恢复至往年水平,但每台x86服务器的价格,较去年同季则下降近7%。而Linux服务器的需求受到高性能计算 (HPC)和云计算部署的积极影响,在2012年第4季度,Linux服务器已占到了整体服务器市场的20.4%。 IDC在全球范围内对PowerLinux平台上运行SAP的调查显示,相比x86平台,PowerLinux可实现高达2倍以上的资源利用率,使用PowerVM的PowerLinux系统利用率高达70%,并带来75%的宕机时间减少,较低的基础架构成本,及更高的IT人员工作效率。“PowerLinux在整体获得成本(TCA)和整体拥有成本(TCO)上比x86都更具优势。”Colin Parris介绍说,仅IBM就有500多个软件产品运行于Linux之上。近年来,Linux开源系统因其突出的经济性、跨平台的硬件支持,及平台上丰富的软件优势,发展迅猛。 除了x86架构服务器与Linux的此消彼长,ARM架构服务器的崛起,也正在“撼动大象的奶酪”。2013年1月,百度南京数据中心部署ARM架构服务器。“这是全球首个ARM服务器在数据中心的规模应用,实现了数据中心低成本和低功耗运行。”ARM大中华区总裁吴雄昂解释道,“存储密度提升70%,总所有成本(TCO)降低25%。” 这些全新的ARM架构服务器目前服务于百度云——这是百度的一项针对个人提供云存储应用服务的业务。根据百度的云存储需求,Marvell专门为其量身定制了ARM架构的服务器芯片组。相较于之前的X86架构服务器解决方案,Marvell平台在2U机架内将存储容量提升至96TB,并将总体拥有成本降低了25%。Marvell集团副总裁张晖解释说:“每个芯片相比x86来讲都很便宜,功耗也低,可做很多叠加,可以扩展性优势十分强。”这些服务器的机柜里有24个硬盘,高密度的服务器CPU在这里的主要作用是数据处理和交换。 此举也让多年来一直跻身于移动终端市场的ARM“一鸣惊人”,成功逆袭至企业级数据中心。吴雄昂对未来十分乐观,“从发展的眼光看,随着生态系统的完善,所有需要用到服务器的公司产业都会对ARM服务器产生强大兴趣。”越来越多的互联网和云服务公司正从现有架构服务器转向拥抱能源效率更高的ARM架构服务器。无论是IBM“出”、联想“进”,或是x86、Linux、ARM,沉寂了太久的服务器市场正在变得热闹起来。与此同时,一个不可否认的事实是:Gartner研究报告指出,从全球市场来看,2012年全球服务器出货量增长1.5%,但是服务器销售收入下降0.6%——整个服务器市场依然面临着出货量放缓、销售收入下降的窘态。 这丝毫不会影响服务器市场多选时代的到来。“未来3年,服务器市场将趋于多元化。”童夫尧说道。而对企业级用户来说,多元则意味着多选——脱离原有的标准化禁锢,获得个性化服务将变得更加容易。 选择权 今年年初,做技术出身的朱东,在北京的中关村电脑城花费一个下午的时间,DIY出一个可以随便拎走的“黑盒子”。“只花了七八千块钱,性能却相当于一台PC-Server。”朱东笑言,这个东西极大的方便了他跟客户直接的沟通。出差时只要塞进行李箱,就能够走到哪里演示到哪里,丝毫不受现场IT设备的限制。在去IOE与开源浪潮中,IBM、Oralce等传统IT软硬件提供商受到严重冲击,靠收取维保费用、Licence费用维持高增长的服务模式将无法继续——不少企业放弃直接购买服务器,而是转身直接向OEM厂商下单定制。 随着移动互联网行业的爆发性发展,新技术、新业务与数据中心的关联度越来越高,海量的数据处理需求,令互联网行业面临着全新的数据存储和传输模式。这也令服务器定制和DIY首先在互联网行业生根发芽。“这是未来的趋势之一。”童夫尧告诉记者,联想也曾经接过服务器定制的订单,“客户的要求很简单,会直接提出来以后不要机箱,成本压缩到到少。”联想服务器电话销售团队里面就有一个名为Hunter(猎人)的小组,专门聚焦高成长性企业。 2013年3月8日,联想发布IPDC(互联网/数据中心行业)专属服务器,将为门户、网游、视频、搜索、电商等各类IPDC核心应用提供高性能、高可靠性、低能耗的基础架构解决方案。童夫尧认为,未来的服务器,一类是以通用的x86服务器为主线,主要满足绝大部分的商用客户日常IT需求;另外一类,专门满足某些细分子行业的个性化定制需求。“互联网公司的云数据中心,就是它的核心竞争力。因为拥有共性,行业的定制性也是由于其服务器就是核心竞争力。”Marvell集团副总裁张晖解释道。Google和Amazon、Facebook等互联网巨头都建立了自己的服务器农场。 作为全球规模最大的搜索引擎公司、市值全球第二大的科技公司,Google亦是全球第一家实现服务器DIY的企业。从软件设计,到硬件代工生产,“Google牌”服务器运行在其全球各大数据中心。2013年6月中旬,拥有11亿用户的Facebook对外公布了其在美国本土以外建立的第一个数据中心——位于瑞典Lulea的数据中心——作为Open Computer Project(开放计算机项目)的首个研究成果,Lulea数据中心从服务器到配电系统,都采用开源设计,目的是以尽可能最低的价格建立最高效的计算基础设施,遵循与开源软件项目相关的模型来开发服务器和数据中心。 Lulea数据中心完全采用Facebook设计的服务器,这些服务器将处理来自世界各地的实时流量——每天约100亿条信息、3500万张图片,以及45个“赞!”。据外媒报道,Facebook基础设施工程师杰伊·帕里克(Jay Parikh)曾表示,相比较于传统服务器厂商的产品,这一项目开发的服务器硬件性能高出38%,运营费用则低24%。“我们预见,会有特别针对某些行业数据的专业算法加速芯片的出现,这些都意味着更高效的新型服务器将在企业内部出现。”ARM大中华区总裁吴雄昂认为。而学技术出身的张晖,只在乎“客户需要什么”,而不关心“谁和我合作”。“定制化、专业化,会越来越多,通用性空间会压缩一点。”他坦言,“今后三五年,Marvell将会跟数据中心直接去沟通,了解他们的想法和今后的发展需要。提出需求来的是互联网企业,服务器的终端用户,而不是服务器制造的企业。数据中心会和芯片企业直接去沟通,谈想法和发展需要,他们比OEM更清楚这一点。” 此外,ITValue社区曾就“未来中小企业数据中心会消失吗?”这一话题展开讨论,64%的调查参与者认为“会消失”。服务器托管服务水准的不断提升,云计算安全的逐步完善,办公场地空间和电能的苛刻要求,都会将中小企业自建数据中心的念头渐渐打消。“企业的数据中心,尤其是中小企业,在物理层面上会逐渐在企业中消失,但是在逻辑层面上会一直存在于企业内部。”壳牌(中国)有限公司 中国零售业务信息部经理朱楠在社区讨论中谈道。 面对计算需求的飙升,服务器市场原来最大的买主玩儿起了DIY,次大的买主正在开源尝试定制,中小型买主都托管不自买了。“以后IDC将是寡头型的,可能被整合成为几家超大型企业,在土地便宜、能源便宜、气候条件好的地方,建设超大规模的IDC。”童夫尧给出了自己的判断。“未来的服务器产业将是个多选择的市场环境,会有越来越多差异化的商品,因为不同需求的企业所设计。这听起来是更激烈的竞争,但也是代表着更多从业者投入市场,能造就更显著的产业进步。”吴雄昂说道。 开源浪潮 “大数据带来的新一轮IT基础应用平台分疆裂土开始了。”北京殷塞信息技术有限公司执行董事、首席架构师朱东谈道:“总体上看,人类社会在IT等技术的驱动下,正在实现加速裂变,社会生活和生产活动正在迅速变得与过去不同,而且这种变化的速度越来越快。这样,作为支撑IT运行的基础必然也会面临快速变化的需求和压力。”在大数据、云(如阿里云)计算日趋成熟的大背景中,企业将越来越多的面临数据的非结构化、总所有成本等压力,这些需求将驱动服务器从Scale-Up向Scale-Out架构转换。作为计算机系统平台的两种扩展技术,Scale-Up为垂直扩展,通常指通过在服务器内增加计算资源的方式进行扩展升级,如增加服务器的处理器数量以增加计算能力;而Scale-Out则为水平扩展,通常指通过增加独立计算设备来增加运算能力,如增加服务器数量以增加计算机能力。 爱康国宾健康管理集团副总裁冯朝晖是坚定的“去IOE”支持者,爱康国宾的所有系统都是构建在PC服务器+开源软件的服务器集群的架构上。他认为大数据的出现对企业的基础设施带来了很大的挑战。基于IOE的传统架构成本太高,若是基于开源解决方案,就可以转向大量的低端PC服务器,然后使用并行计算和集群的办法,就能够解决海量数据存储的问题。通过数据的分级分类,大量的历史数据和非结构化数据(比如医疗图像)都可存储在基于低端PC服务器的分布式的近线存储系统中。 公开资料显示,阿里巴巴集团购买Oralce数据库,购买的是3年无限制Licence,总价为3年数千万人民币。承载Oralce数据库运行和计算的IBM小型机,以及EMC的存储设备,购买费用和维保费用,将“深似无底洞”。这也是阿里巴巴不得不去IOE的缘由之一。阿里巴巴这样一位举足轻重的重量级用户,就此将去IOE和开源推进了大家的视线。尽管此前,由泛商业化小型系统的普及所带来的碎片化资源需求,使得开源技术的使用一直都存在于“草根”市场中。“企业服务器除了传统的报表生成、客户关系管理之外,在数据集成、存储和离线分析的工作承担越来越高,相较于原来计算密集型应用,这些算是新的应用类型,而新应用对于I/O吞吐,存储能力都有更高的要求,导致企业客户对服务器的成本更加敏感。”吴雄昂说道。 2013年4月26日,中国南方航空公司(以下简称“南航”)总信息师、ITValue广东分会会长胡臣杰,在ITValue“制造业转型升级中国行系列论坛之深圳站研讨会”上宣布:“2012年,南航仅在License费用上节省了1500多万,这是开源技术所带来的非常实实在在的收益。”南航信息中心技术总监龙庚进一步解释说,从2009年探索开源道路以来,南航每年50~60个新项目中,从操作系统、负载均衡到开发框架,大多数都会采用开源技术。从集中走向分布,并有廉价的设备替代原有设备,这并不会影响服务器的计算能力、可靠性、稳定性。无论是南航的开源之路,还是阿里巴巴这场热闹的去IOE运动,资金需求与业务压力都是重要动因。在张晖看来,开源的系统比较发达,包括一些操作系统和基本的工具,都有开源软件。根据ValueResearch的研究,这将帮助企业CIO运用好社会信息化环境下的IT红利。 “去IOE,代表着大型昂贵复杂的东西正在被小型灵活方便的东西竞争,CIO有了更多的选择,厂商需要让自己的产品更灵活更高效更开放。”朱东总结道。 下一条: 数据安全在裸奔:大数据是黄金更是刺刀
|