• 1
  • 2
  • 3
  • 4
  • 5
mssql数据库问题 首 页  »  帮助中心  »  数据库  »  mssql数据库问题
MongoDB使用教程:Driver原理
发布日期:2016-4-29 14:4:34

  前言

  Driver是MongoDB非常重要的组成部分,通过不同的配置实现Secondary访问;读写分离,动态感知集群容灾切换等功能。目前MongoDB已经覆盖了大部分的开发语言,常见的JAVA到Go,可以参考官方连接MongoDB Drivers。在这篇文章中,我们以Java版本为例介绍MongoDB的Drivers实现逻辑和协议,选择Java的原因为语言阅读门槛低,配合IDE,进行DEBUG追踪也非常容易,其次Java版本实现的功能非常完善。主要讲解的是ReplicaSet模式,因为Shard模式有mongos作为代理,没有充分体现Driver的路由逻辑。

  本篇主要讲解了以下三个部分:

  Driver初始化

  Driver请求路由

  Driver容灾处理

  Driver初始化

  配置启动参数DEMO

  首先来看下Java初始话配置Demo:

  public static MongoClient createMongoDBClient() {

  // 构建Seed列表

  List seedList = new ArrayList();

  seedList.add(seed1);

  seedList.add(seed2);

  // 构建鉴权信息

  List credentials = new ArrayList();

  credentials.add(MongoCredential.createScramSha1Credential(username,

  DEFAULT_DB, password.toCharArray()));

  // 构建操作选项,requiredReplicaSetName属性外的选项根据自己的实际需求配置,默认参数满足大多数场景

  MongoClientOptions options = MongoClientOptions.builder()

  .requiredReplicaSetName(ReplSetName).socketTimeout(2000)

  .connectionsPerHost(1).build();

  return new MongoClient(seedList, credentials, options);

  }

  还有另外一种通过URI初始化的方法,如下所示:

  public static MongoClient createMongoDBClientWithURI() {

  //另一种通过URI初始化

  //mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]

  MongoClientURI connectionString = new MongoClientURI("mongodb://" + username + ":" + password + "@" +

  seed1 + "," + seed2 + "/" +

  DEFAULT_DB +

  "?replicaSet=" + ReplSetName);

  return new MongoClient(connectionString);

  }

  两种方式的实现原理么有本质区别,Driver会将URI拆解为第一种的参数设置方式。

  Builder方式比较灵活,对参数的设置非常细,并且代码清晰易读。

  URI方式的有点是在复杂的系统中更通用,不同编程语言系统可以共享一套初始化配置;如果有多套异构的系统访问MongoDB,建议采用URI的方式。

  设置Seed地址

  Address地址变量叫做Seed,而不是MongoDB集群上的Primary,Secondary,或者其他的名称。Seed是MongoDB访问地址的一种抽象概念,可以是MongoDB集群中的任意一个节点,如果是ShardCluster模式,那么应该是Mongos地址。这样的好处是使用者不需要关系集群的状态改变,更加不用随着集群状态改变而修改配置。比如说,增加了一个新的节点,再或是发生了Primary和Secondary之间的角色切换,但是Seed保持不变,只要是集群中的任意地址就行了。然而Driver在处理请求时是需要明确Primary,Secondary等角色的地址关系。

  构造ServerMonitor线程

  初始化,就是对集群状态的第一次获取,并且构建Driver内部使用的ServerMonitor线程,集群中的每个节点,都对应有一个ServerMonitor。初始状态下会以Seed为起点开始,ServerMonitor主要有几下个动作:

  首先要检查连接状态,如果是不可用的,那么需要重新建立链接,并且执行Action A动作:

  Action A:ConnectionOpen,每个连接的建立好都会执行以下的请求

  ismaster 这里的作用相当于Ping一下,在这个Action中没有特别的作用

  buildinfo 获取Server的版本信息,目的是做版本之间的兼容性

  auth 如果配置有鉴权属性,会执行此步骤,目前默认的是SASL,可以参考RFC,SCRAM方式一般需要三次的RPC交互。

  getlasterror 确定上面的请求没有出错,整个Action结束

  当连接Ready后,开始心跳,并且间隔性的检查,默认每10秒钟,可配置,但是最小不能低于500毫秒

  Action B:LookupServerDescription

  ismaster 与Action A的命令一样,但这里获取到的信息非常重要

  检查上一步刚刚获得的Server Description与之前的是否一致,如果没有发生任何改变,状态稳定,那么这轮心跳检查结束。不一致,则产生changeEven事件,调用Acton C。

  如果有必要,那么继续执行OnChanged Listener:

  Action C:Server Description OnChanged

  更新Server Hosts列表,如果列表中之间不存在该地址,则新创建连接,以新地址构造ServerMonitor线程

  如果当前节点是Primary,还要更新ElectionId等字段

  在Action C动作结束后,每个Server都产生了一个Server Montior线程,并且Driver也同步到了集群状态,Primary地址,ElectionId等信息。一旦集群信息发生改变,心跳线程也会随时发现并做出相应的修改。

  

  连接池ConnectionPool

  ServerMonitor是独立的线程,只保证心跳检查,不处理真正的用户请求。用户的请求是通过其他的连接完成,那对连接的管理是有个套ConnectionPool机制,每个连接有一套独立的ConnectionPool。初始化后ConnectionPool是空的,等请求需要时会在建立连接。

  请求线程从Pool中拿到Connection后,会在请求线程里处理请求,结束后再放回给ConnectionPool。不同的实现语言,这里处理的逻辑并不一样,不属于MongoDB约定的协议范围内。

  isMaster命令:

  可以参考官方文档,isMaster,在MongoShell中执行会得到以下结果,非常重要的是ismaster和hosts字段,这两个字段完整的描述了集群的状态信息。Action B.2的判断,依赖ismaster的是否是true.如下所示:

  {

  "setName" : "rs0",

  "setVersion" : 3,

  "ismaster" : true,

  "secondary" : false,

  "hosts" : [

  "10.1.2.123:12300",

  "10.1.2.124:12300"

  ],

  "primary" : "10.1.2.123:12300",

  "me" : "10.1.2.123:12300",

  "electionId" : ObjectId("569dfe3aba498a31641f3630"),

  "maxBsonObjectSize" : 16777216,

  "maxMessageSizeBytes" : 48000000,

  "maxWriteBatchSize" : 1000,

  "localTime" : ISODate("2016-01-20T04:54:20.768Z"),

  "maxWireVersion" : 3,

  "minWireVersion" : 0,

  "ok" : 1

  }

  从整个流程上可以看到,ismaster命令存在冗余,一个连接的初始化逻辑,至少需要发送2次,并且对同一个Server,不同的连接还是要发送,很多情况不是必要的,可以简化,提高连接建立的速度。

  MongoDB Driver的初始化总结

  通过对MongoDB Driver For Java的分析,我们已经很清楚了初始化的行为动作,包括平时运行时的大概情况,其他语言的实现也大同小异,跑不出这个流程。希望对读者日后处理客户端初始化问题时会有所帮助。

  

  了解原理后我们回头来思考下,怎么使用才是最佳实践,主要有以下几点:

  1、从整个流程上看,MongoDB Driver初始化的过程很‘重’,要交互很多次,尤其是使用PHP的同学注意了,我们不建议采用短连接的方式,请将MongoDB的连接持久化下来。

  2、提高请求线程并发量的同时,尝试同步提高连接池上限,对性能会有一定帮助。但请注意,不是越多越好,过多的线程会导致线程调度消耗过多的资源。而且请配置连接的IDLE time,让其自动回收长期不用的连接,避免连接泄漏。

  3、每个Driver都至少会有一个Monitor连接,而且是不会回收的。所以,规划连接数时,需要关注到这点。

  4、最重要的一点,学会用isMaster命令排查问题,Driver请求无法访问时,尝试在Mongo Shell中执行isMaster,确保返回的集群信息都是正确的。并且isMaster是不需要鉴权的,所以,保护好你的MongoDB实例,不要出现的公网上。

  5、配置多个Seed地址是,避免其中一个不可用。

  6、......