MongoDB使用教程:Driver原理
发布日期:2016-4-29 14:4:34
前言 Driver是MongoDB非常重要的组成部分,通过不同的配置实现Secondary访问;读写分离,动态感知集群容灾切换等功能。目前MongoDB已经覆盖了大部分的开发语言,常见的JAVA到Go,可以参考官方连接MongoDB Drivers。在这篇文章中,我们以Java版本为例介绍MongoDB的Drivers实现逻辑和协议,选择Java的原因为语言阅读门槛低,配合IDE,进行DEBUG追踪也非常容易,其次Java版本实现的功能非常完善。主要讲解的是ReplicaSet模式,因为Shard模式有mongos作为代理,没有充分体现Driver的路由逻辑。 本篇主要讲解了以下三个部分: Driver初始化 Driver请求路由 Driver容灾处理 Driver初始化 配置启动参数DEMO 首先来看下Java初始话配置Demo: public static MongoClient createMongoDBClient() { // 构建Seed列表 List seedList = new ArrayList(); seedList.add(seed1); seedList.add(seed2); // 构建鉴权信息 List credentials = new ArrayList(); credentials.add(MongoCredential.createScramSha1Credential(username, DEFAULT_DB, password.toCharArray())); // 构建操作选项,requiredReplicaSetName属性外的选项根据自己的实际需求配置,默认参数满足大多数场景 MongoClientOptions options = MongoClientOptions.builder() .requiredReplicaSetName(ReplSetName).socketTimeout(2000) .connectionsPerHost(1).build(); return new MongoClient(seedList, credentials, options); } 还有另外一种通过URI初始化的方法,如下所示: public static MongoClient createMongoDBClientWithURI() { //另一种通过URI初始化 //mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]] MongoClientURI connectionString = new MongoClientURI("mongodb://" + username + ":" + password + "@" + seed1 + "," + seed2 + "/" + DEFAULT_DB + "?replicaSet=" + ReplSetName); return new MongoClient(connectionString); } 两种方式的实现原理么有本质区别,Driver会将URI拆解为第一种的参数设置方式。 Builder方式比较灵活,对参数的设置非常细,并且代码清晰易读。 URI方式的有点是在复杂的系统中更通用,不同编程语言系统可以共享一套初始化配置;如果有多套异构的系统访问MongoDB,建议采用URI的方式。 设置Seed地址 Address地址变量叫做Seed,而不是MongoDB集群上的Primary,Secondary,或者其他的名称。Seed是MongoDB访问地址的一种抽象概念,可以是MongoDB集群中的任意一个节点,如果是ShardCluster模式,那么应该是Mongos地址。这样的好处是使用者不需要关系集群的状态改变,更加不用随着集群状态改变而修改配置。比如说,增加了一个新的节点,再或是发生了Primary和Secondary之间的角色切换,但是Seed保持不变,只要是集群中的任意地址就行了。然而Driver在处理请求时是需要明确Primary,Secondary等角色的地址关系。 构造ServerMonitor线程 初始化,就是对集群状态的第一次获取,并且构建Driver内部使用的ServerMonitor线程,集群中的每个节点,都对应有一个ServerMonitor。初始状态下会以Seed为起点开始,ServerMonitor主要有几下个动作: 首先要检查连接状态,如果是不可用的,那么需要重新建立链接,并且执行Action A动作: Action A:ConnectionOpen,每个连接的建立好都会执行以下的请求 ismaster 这里的作用相当于Ping一下,在这个Action中没有特别的作用 buildinfo 获取Server的版本信息,目的是做版本之间的兼容性 auth 如果配置有鉴权属性,会执行此步骤,目前默认的是SASL,可以参考RFC,SCRAM方式一般需要三次的RPC交互。 getlasterror 确定上面的请求没有出错,整个Action结束 当连接Ready后,开始心跳,并且间隔性的检查,默认每10秒钟,可配置,但是最小不能低于500毫秒 Action B:LookupServerDescription ismaster 与Action A的命令一样,但这里获取到的信息非常重要 检查上一步刚刚获得的Server Description与之前的是否一致,如果没有发生任何改变,状态稳定,那么这轮心跳检查结束。不一致,则产生changeEven事件,调用Acton C。 如果有必要,那么继续执行OnChanged Listener: Action C:Server Description OnChanged 更新Server Hosts列表,如果列表中之间不存在该地址,则新创建连接,以新地址构造ServerMonitor线程 如果当前节点是Primary,还要更新ElectionId等字段 在Action C动作结束后,每个Server都产生了一个Server Montior线程,并且Driver也同步到了集群状态,Primary地址,ElectionId等信息。一旦集群信息发生改变,心跳线程也会随时发现并做出相应的修改。 连接池ConnectionPool ServerMonitor是独立的线程,只保证心跳检查,不处理真正的用户请求。用户的请求是通过其他的连接完成,那对连接的管理是有个套ConnectionPool机制,每个连接有一套独立的ConnectionPool。初始化后ConnectionPool是空的,等请求需要时会在建立连接。 请求线程从Pool中拿到Connection后,会在请求线程里处理请求,结束后再放回给ConnectionPool。不同的实现语言,这里处理的逻辑并不一样,不属于MongoDB约定的协议范围内。 isMaster命令: 可以参考官方文档,isMaster,在MongoShell中执行会得到以下结果,非常重要的是ismaster和hosts字段,这两个字段完整的描述了集群的状态信息。Action B.2的判断,依赖ismaster的是否是true.如下所示: { "setName" : "rs0", "setVersion" : 3, "ismaster" : true, "secondary" : false, "hosts" : [ "10.1.2.123:12300", "10.1.2.124:12300" ], "primary" : "10.1.2.123:12300", "me" : "10.1.2.123:12300", "electionId" : ObjectId("569dfe3aba498a31641f3630"), "maxBsonObjectSize" : 16777216, "maxMessageSizeBytes" : 48000000, "maxWriteBatchSize" : 1000, "localTime" : ISODate("2016-01-20T04:54:20.768Z"), "maxWireVersion" : 3, "minWireVersion" : 0, "ok" : 1 } 从整个流程上可以看到,ismaster命令存在冗余,一个连接的初始化逻辑,至少需要发送2次,并且对同一个Server,不同的连接还是要发送,很多情况不是必要的,可以简化,提高连接建立的速度。 MongoDB Driver的初始化总结 通过对MongoDB Driver For Java的分析,我们已经很清楚了初始化的行为动作,包括平时运行时的大概情况,其他语言的实现也大同小异,跑不出这个流程。希望对读者日后处理客户端初始化问题时会有所帮助。 了解原理后我们回头来思考下,怎么使用才是最佳实践,主要有以下几点: 1、从整个流程上看,MongoDB Driver初始化的过程很‘重’,要交互很多次,尤其是使用PHP的同学注意了,我们不建议采用短连接的方式,请将MongoDB的连接持久化下来。 2、提高请求线程并发量的同时,尝试同步提高连接池上限,对性能会有一定帮助。但请注意,不是越多越好,过多的线程会导致线程调度消耗过多的资源。而且请配置连接的IDLE time,让其自动回收长期不用的连接,避免连接泄漏。 3、每个Driver都至少会有一个Monitor连接,而且是不会回收的。所以,规划连接数时,需要关注到这点。 4、最重要的一点,学会用isMaster命令排查问题,Driver请求无法访问时,尝试在Mongo Shell中执行isMaster,确保返回的集群信息都是正确的。并且isMaster是不需要鉴权的,所以,保护好你的MongoDB实例,不要出现的公网上。 5、配置多个Seed地址是,避免其中一个不可用。 6、...... 上一条: 衡量企业应用数据库性能的指标 下一条: MongoDB使用教程开篇
|