京东Presto获开源优秀项目大奖
发布日期:2016-4-22 12:4:9
京东Presto获开源优秀项目大奖 近日,以“构建开源平台,服务万众创新”为主题的“第十届开源中国开源世界高峰论坛”在广州召开,向行业分享了业界领先的开源技术。京东的大数据开源计算框架Presto荣获了2015COPU开源优秀项目大奖,与此同时,京东集团首席技术顾问翁志先生也被评选为2015COPU开源杰出人物。开源作为互联网技术发展的重要引擎,它带来的业务革新,对当前的互联网企业有着重要的影响。京东一直以开源系统作为构建自身核心技术体系的基础,在开源领域深耕多年,积极推动行业分享与交流。 图1为京东资深数据库开发工程师 戴东东
一、从Presto中国社区到开放JD-Presto源代码 于2013年秋季FaceBook将Presto开源的分布式实时计算产品,与mysql类似,由于其绝佳的计算性能和数据源完全解耦的特性,在北美与欧洲得到广泛应用,Presto推动了大数据实时计算技术的快速发展。 2014年京东针对Presto,做了二次开发、应用,成功成为中国软件业第一家将Presto投入生产使用的公司。与此同时也与FaceBook展开深度合作,并帮助京东组建了Presto中国社区,支持Presto在中国的推广。 京东在2015年3月正式发布了JD-Presto源代码,将京东的工作成果贡献于社区,开启了京东回馈中国软件开源社区的先河,与国内各个领域的开发者与用户一起推动Presto在中国的发展。 二、贯穿于京东技术研发体系的开放意识 由于京东同Facebook在业务模式上不一样,所以在将Presto引入到京东的技术体系当中,需要根据自身的业务进行调整。作为京东首席技术顾问的翁志,一直致力于推广开源软件,他主导了Presto产品的引入,组建了云平台Presto研发团队。现在Presto已经部署在京东的生产环境当中,翁志做了以下表示: “我们对Presto的弱点投入了很大的精力进行弥补,并且改进了JDBC Driver,重写了并发性的调度,研发出了PDBO功能(Presto For DataBase Optimizer),大幅提升了Presto产品性能,公司的生产使用表明,JD-Presto版本较其它大数据技术,性能提升10倍以上,成本节省一半,在一个大规模的大数据集群中,这种技术优势将带来显著的经济效益,同时京东将这些成果反馈于社区,服务于广大开源用户,推动整个行业的高速成长。” 京东所坚持的这种开放共享的精神,是开源世界所倡导的。开放对于京东来说已经成为技术研发体系非常重要的属性之一。从系统架构上,京东已经建设完成了调用平台化、API化、系统内部服务化的开放系统,由于只有开放才能够满足当前京东庞大而复杂的业务需求。在技术文化上,京东同样崇尚开放与分享,不仅通过内部的开放平台迅速提升京东技术人的水平,而且更乐于对外开放资源,拉动互联网行业的整体技术升级。 JD-Presto终结了数据分析的两难选择,提供了速度迅捷又节省资源的方案。开源系统的高速成长让京东这样推崇开源的企业从中获益,使京东能够在互联网企业快速发展的过程中时刻保持创新的动力;同时京东也将自身的研发成果反哺回行业,为更多的企业提供帮助,让开放共享的精神成为行业发展动力。 以后本站会及时更新一些关于mysql的新闻,关注mysql的敬请期待。 上一条: PrestoDB在京东的应用实践 下一条: MySQL的交互技巧
|