• 1
  • 2
  • 3
  • 4
  • 5
mssql数据库问题 首 页  »  帮助中心  »  数据库  »  mssql数据库问题
阿里巴巴高级技术专家沈春辉:选择HBase是一种缘分
发布日期:2016-4-23 21:4:2

  阿里巴巴高级技术专家沈春辉:选择HBase是一种缘分

  2016年3月18-19日在上海召开。在大会召开之际,CSDN采访到了阿里巴巴高级技术专家沈春辉,请他分享一些关于对HBase的研究与理解。

  

  上图为阿里巴巴高级技术专家 沈春辉

  沈春辉,阿里巴巴高级技术专家,HBase社区Committer,2011年加入阿里,主要从事和关注分布式存储与数据库领域,在支撑大规模在线数据服务的前线拥有多年战斗经验,目前正在负责阿里HBase的改进和开发工作。

  他将在数据库核心技术与实战应用峰会中带来《高可用HBase的技术实践》的主题分享,下面为专访正文:

  CSDN:首先请简单介绍下自己、公司以及目前所负责的领域。

  沈春辉:沈春辉(花名:天梧),阿里巴巴高级专家,2011年毕业于浙江大学计算机专业,加入淘宝之后一直在大数据存储服务方向工作。目前,所在团队的主要职责是基于阿里巴巴的环境和业务需求,对HBase进行深度定制与改进,从解决方案、稳定护航、发展支撑等全方位提供一站式分布式NOSQL数据库的产品与服务。目前个人负责阿里HBase产品的研发改进与落地实践工作。

  CSDN:是什么缘由让你加入阿里的?在阿里的这段期间有给你留下印象深刻的人或事吗?

  沈春辉:在校期间,我非常有幸接触与喜欢上了Hadoop,并且对其未来发展与挑战充满了期待。 而淘宝在Hadoop领域的研究投入与实践影响是最大的公司之一,毕业那年就毫不犹豫地选择了这个机会,加入了团队——大数据基础平台。

  阿里是一家危机意识很强的企业,个人与团队时刻都在为下一场战斗做着准备,每一次历练都是一种情感与能力的升华。这种战斗的深刻感受像是电商大促、新春红包、高德十一出行等等,还会有一些突围性的战斗不为所知。如果要说具体的深刻印象,莫过于每年的双11,与多个团队长达几月的协同攻关、携手共建,终于迎来12号的凌晨半夜,上千人在多地围聚欢呼、切糕举杯、相拥鼓励、红包言情的场景,这种感受、这些战友是难以忘怀的。

  CSDN:HBase在阿里被重度使用和优化,在使用HBase的过程中遇到过的最大难题是什么,又是如何解决的?

  沈春辉:一款开源的数据存储类产品,要想真正地在公司内被使用普及,需要搭建一个桥梁使其融入到公司的技术大背景与业务大系统,这也是常说的贴近业务。这方面的建设思路,我们参考借鉴了很多阿里其他成熟的数据库产品,像是MySQL、Tair等, 少走了很多弯路。但还是会有一些难题,给我们留下了深刻教训。

  这里说一个关于服务迁移的问题。随着业务的高速发展,阿里基本上每年都会建设新的IDC,意味着每年都有大量的业务在IDC之间进行搬迁,再加上业务自身容量需求与旧机房机架不足的现实,HBase服务搬迁慢慢地成了家常便饭。我们知道,HBase服务的地址是由Zookeeper服务器列表、端口及ZNode信息组成的,服务搬迁意味着应用需要修改地址配置、重启应用,这样的变更往往是在凌晨低峰期缓缓地滚动执行,然后等待预热、验证,对于HBase服务方和应用方都是一种痛苦,而更担心的是变更背后的未知风险。为了根治这种痛苦,我们引入了第三方地址服务,改造了HBase的客户端,使得其可以动态地、平滑地切换访问多个集群。简单地说,应用从一个稳定可靠的地址服务中获取HBase的ZK地址,并会在运行过程中监听这个地址的变化。而地址服务本身通过跨机房、VIP域名手段,来保证其可靠性、高可用、易迁移。当然,保障数据平滑迁移也是服务迁移中很重要的一点,使用Replication + Snapshot的方式是大家常用和认可的,这里就不再阐述。

  CSDN:当初为何会选择HBase作为自己的研究方向?有什么特别的技术情怀吗?

  沈春辉: 选择HBase应该是一种缘分,当初加入团队后被安排做这方面的工作。但慢慢接触后,开始喜欢这个产品。伴随对HBase的研究与理解,既会驱动你向下探索JVM与OS ,也能向上感受业务架构的发展与诉求。此外,HBase社区是比较活跃的,大多数开发者都十分友善、乐于助人,研究开源产品、参与开源交流可以很好地帮助技术成长。

  CSDN:您作为HBase社区Committer之一,你怎么看待HBase的未来发展和面临的挑战?

  沈春辉: 在2015年初,HBase-1.0版本正式Release,在稳定性、可用性、易用性等方面有很大的提升。然而,在整个分布式数据库领域上,整体产品发展都比较快,像是Cassandra、 新开源的ScyllaDB、阿里自研的OceanBase、阿里云DRDS等等。HBase面临的挑战更大,个人比较期待以下几方面的发展:

  a.Region Replica,可以让同一Region在多个节点提供服务,很大程度降低Bug,OS、硬件故障的影响。这个特性的成熟,有助于提升HBase在Online场景的应用频率。

  b.堆外内存,Open JDK在管理大内存方面还缺乏有力高效的方式,HBase已经在尝试把常用的内存数据移到堆外,来减少大内存下的GC影响。

  c.SQL, Apache Phoenix作为HBase之上的SQL引擎,个人感觉目前的活跃度与成熟度皆不足。对于普通应用开发者而言,使用HBase API是一个很高的门槛,需要其对原理架构有相当的了解,否则很容易造成错误的使用。发展SQL作为默认的客户端选择,可以让HBase更好地普及开来。

  CSDN:除了HBase,你还会关注哪些技术热点?

  沈春辉: 主要关注Hadoop生态和分布式数据库这两个领域。

  在Hadoop生态,会重点跟进HDFS和Zookeeper的发展,团队本身也会在这上面进行一些适当的开发。对Spark、Storm、Hive、Yarn等计算领域的一些发展也会保持关注。

  在分布式数据库上,主要会关注Cassandra、DynamoDB、OceanBase、Redis等产品上的技术应用。

  另外,对于一些火热的技术也会好奇和学习,比如Docker、Mesos等。

  CSDN:你最期待在本次SDCC数据库峰会上听到哪些内容?

  沈春辉: 期待更多在技术实践和应用方面的干货,期待和众多同行开发者交流想法。

  CSDN:在本次SDCC数据库峰会上分享的话题是?

  沈春辉: 阿里是国内最早应用HBase的公司,在近五年的发展中,我们趟过了很多坑,也沉淀了一些经验与技术,经受住了多次双11的考验。本次演讲将分享阿里在保障HBase服务高可用方面的一些工作,包括MTTR、MTBF、冗余切换等角度的实践与软件改进。