数据库核心技术与实战应用峰会实录(下)

　　摘要：数据库核心技术与实战应用峰会下午继续进行中，来自上海热璞CTO金官丁、阿里巴巴高级技术专家沈春辉、AdMaster技术副总裁兼总架构师卢亿雷、饿了么DBA经历虢国飞、七牛云技术总监陈超详细剖析了各自在数据库领域的实践经验。

　　在2016年3月18日-19日，由CSDN重磅打造的互联网应用架构实战峰会、数据库核心技术与实战应用峰会在上海光大会展中心国际大酒店隆重召开。作为SDCC 2016(中国软件开发者大会)系列技术峰会的一部分，大会秉承着干货实料的内容原则，这两场峰会将会邀请业内顶尖的架构师与技术专家，共同探讨了高可用/高并发系统架构设计、新技术应用、微服务、移动应用架构、云数据库实战、智能硬件架构、新一代数据库平台、性能调优、产品选型、大数据应用实战等领域的话题与技术。

　　在下午13:30,数据库核心技术与实战应用峰会在AdMaster技术副总裁兼总架构师，大数据资深专家卢亿雷的主持下继续进行，来自上海热璞、AdMaster、阿里巴巴、饿了么、七牛的资深数据库专家分享了各自在数据库领域中的实战经验。

　　阿里巴巴高级技术专家 沈春辉：高可用HBase的技术实践

　　阿里巴巴高级技术专家沈春辉带来了《高可用HBase的技术实践》，在本次演讲中主要分享阿里在保障HBase服务高可用方面的一些工作，包括MTTR、MTBF、冗余切换等角度的实践与软件改进，让大家深度的了解HBase。

　　上图为阿里巴巴高级技术专家 沈春辉

　　对HBase在阿里的应用场景：

　　1.结构化数据在线存取;

　　2.高吞吐数据写入;

　　3.海量数据实时写入与查询;

　　4.实时流计算的底层存储。

　　从专业的角度深度分析了MTBF和MTTR，集群规模、系统压力、故障范围、故障缘由都是影响MTTR因素，而升级、变更、迁移、容量、用户不规则活动、软件不够健壮则是影响MTBF的因素。在演讲的尾声，又对冗余切换进行了深入的讲解。

　　上海热璞网络科技有限公司CTO 金官丁：分布式数据库技术架构的演变与发展方向

　　金官丁老师这次主要分享关于分布式数据库技术架构分类、企业为何需要分布式数据库、分布式数据库的技术架构演变、及分布式数据库技术架构的未来方向。

　　上图为上海热璞网络科技有限公司CTO 金官丁

　　首先详细介绍了分布式数据库技术架构的分类。并针对企业为何需要分布式数据库进行了深度的剖析，他认为，企业支撑有限、成本过高和依赖严重，都是造成企业需要分布式数据库的原因。

　　金官丁老师还列举了电信行业、快递物流行业等典型的企业业务场景，深入分析了这些典型企业的业务流程。他就分布式数据库的技术架构未来发展方向，提出了自己的观点，并对数据库行业十三五进行了深度的预测：中小企业数据库公有云化、实力派中型和大型企业数据库私有云化、分析型数据库、自主研发与开源数据库融合毒霸天下、分布式数据库技术像虚拟化一样普及、国产数据库进入死亡期这六大预测。

　　饿了么DBA经理虢国飞： 饿了么数据库架构变迁

　　饿了么DBA经理虢国飞针对了一些中小型公司没有高大上的工具，如何才能做好数据库架构提出了一些探讨。并分享了饿了么在数据库架构方面的调整变化，以及每个阶段所面临的问题和应对策略;包括跨机房的数据搬迁和升级、数据库面临的瓶颈、数据库拆分的方案、迁移过程的灰度和回滚方案、数据校验等机制。

　　上图为饿了么DBA经理 虢国飞

　　在饿了么的数据架构方面的调整，开始阶段数据库架构，存在较多的问题：磁盘的不足、主从延时、连接数不足、SlowSQL打垮集群、无从自动容机制等。

　　在垂直拆分阶段为了满足300万单的容量规划而做的架构调整，主要做了以下改进：1.将核心业务集群从一套拆分到5套;2.根据收集的数据规划每个集群的Instance数量，一共分19个;3.最大难点就是如何有效的推动业务改造。在Sharding阶段改进如下：1.将数据按2个维度进行拆分，支持用户和商家两个方向的查询;2.将核心DB的表Sharding成120个分片，分配到12套装集群里面。

　　AdMaster技术副总裁兼总架构师卢亿雷：ElasticSearch分析与实践

　　作为今天数据库峰会的主持人，AdMaster技术副总裁兼总架构师卢亿雷为我们带来了《ElasticSearch分析与实践》的主题分享，主要从ElasticSearch特点及生态圈、Lucence原理、ElasticSearch架构和插件、ElasticSearch管理和监控工具、ElasticSearch应用案例、ELK实践这六大方面进行分享。

　　上图为AdMaster技术副总裁兼总架构师 卢亿雷

　　针对ElasticSearch架构和插件：分词插件、同步插件、数据传输插件、脚本插件、Alert和Shield进行了详细的介绍。

　　着重分析了ElasticSearch应用案例的测试条件：

　　1.记录条数分为100亿以内和1000亿条

　　2. 服务器数量为70台，配置为:CPU 12核，内存96G，硬盘48T

　　3. 测试语句：select count(*) from test where age > 25 and gender 0 and os > “500” and sc in

　　(“0001009”,”0002036”,”0016030”,”…”) or bs>585 and group

　　by age,gender,os,bs

　　4.总共14列(200列)：动态列为3列(多值列)，普通列为11列。

　　七牛云技术总监陈超：InfluxDB的架构演进

　　七牛云技术总监陈超，一直专注于分布式计算与机器学习等领域，有非常丰富的分布式系统设计与实现的经验，在分布式数据库方面也有深入研究。本次分享主要介绍的是InfluxDB的原理与架构，并且会指出InfluxDB存在的“坑”。

　　上图为七牛云技术总监 陈超

　　首先给我们带来了InfluxDB在DB—Engines Ranking of Time Series DBMS 相关排名,如下：

　　主要从InfluxDB的基础概念、如何使用InfluxDB、集群设计和存储引擎几方面进行了详细分析与介绍。