搭建redis集群


redis集群

redis集群简介

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

  • 自动分割数据到不同的节点上。
  • 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

集群架构模型

Redis 集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

  • 节点 A 包含 0 到 5500号哈希槽.
  • 节点 B 包含5501 到 11000 号哈希槽.
  • 节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后，集群是不可用的.

redis-cluster投票:容错


(1)领着投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.

(2)什么时候整个集群不可用(cluster_state:fail)?

a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态.

ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态.

ps:当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误

Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

第一个原因是因为集群是用了异步复制. 写操作过程:

  • 客户端向主节点B写入一条命令.
  • 主节点B向客户端回复命令状态.
  • 主节点将写操作复制给他得从节点 B1, B2 和 B3.

主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理- 命令请求都需要等待复制操作完成的话， 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。

注意：Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1 为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .

Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.

注意， 在网络分裂出现期间， 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的， 这一时间限制称为节点超时时间（node timeout）， 是 Redis 集群的一个重要的配置选项

集群搭建

ruby环境

我的安装环境是Centos6,安装路径在/usr/local下
redis集群管理工具redis-trib.rb依赖ruby环境，首先需要安装ruby环境：

安装ruby

yum install ruby
yum install rubygems

安装ruby和redis的接口程序

拷贝redis-3.0.0.gem至/usr/local下

执行：

gem install /usr/local/redis-3.0.0.gem

创建集群

说一下Redis 集群搭建规划，由于集群至少需要6个节点（3主3从模式），我用的是阿里云的服务器，本来打算土豪一把的，但是看了一下干瘪的钱包，还是算了，所以，只有一台服务器。用不同的端口来代替不同的redis实例，这个在原理上是一样的，只是都挂在一台服务器上压力会很大，这里并不是应用环境，所以没太大问题。

创建redis-cluster目录

[root@iZwz9c6u1iybgf3f7s8cg6Z local]# mkdir redis-cluster

将redis安装目录bin下的文件拷贝到redis01目录内，同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

[root@iZwz9c6u1iybgf3f7s8cg6Z src]# cp *.rb /usr/local/redis-cluster/
[root@iZwz9c6u1iybgf3f7s8cg6Z redis]# cp -r bin ../redis-cluster/redis01

创建另外相同的五个redis实例

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# cp -r redis01/ redis02
....
....
[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# cp -r redis01/ redis06

依次修改对应的redis.conf文件

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# vim redis02/redis.conf

端口修改为对应的7001到7006

port XXXX

打开集群配置

cluster-enabled yes

启动每个结点redis服务

分别进入redis01、redis02、…redis06目录，执行：

./redis-server ./redis.conf

此重复操作可以编写脚本来完成

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# vim startall.sh

添加：

对脚本添加执行权限 

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# chmod +x startall.sh

启动之后可以查看服务，发现均已正常启动

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# ./startall.sh 
[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# ps aux | grep redis
root      2840  0.0  0.3 140032  7196 ?        Ssl  Oct08   3:13 ./redis-server *:6379

root      4246  0.2  0.3 140032  7560 ?        Ssl  17:03   0:00 ./redis-server *:7001
 [cluster]
root      4248  0.0  0.3 140032  7560 ?        Ssl  17:03   0:00 ./redis-server *:7002
 [cluster]
root      4252  0.0  0.3 140032  7564 ?        Ssl  17:03   0:00 ./redis-server *:7003
 [cluster]
root      4259  0.0  0.3 140032  7564 ?        Ssl  17:03   0:00 ./redis-server *:7004
 [cluster]
root      4269  0.0  0.3 140032  7556 ?        Ssl  17:03   0:00 ./redis-server *:7005
 [cluster]
root      4280  0.0  0.3 140032  7560 ?        Ssl  17:03   0:00 ./redis-server *:7006
 [cluster]
root      4294  0.0  0.0 105452   896 pts/0    S+   17:03   0:00 grep redis

执行创建集群命令

执行redis-trib.rb，此脚本是ruby脚本，它依赖ruby环境。

说明：

redis集群至少需要3个主节点，每个主节点有一个从节点总共6个节点
replicas指定为1表示每个主节点有一个从节点

注意：

如果执行时报如下错误：

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

解决方法是删除生成的配置文件nodes.conf，如果不行则说明现在创建的结点包括了旧集群的结点信息，需要删除redis的持久化文件后再重启redis，比如：appendonly.aof、dump.rdb

正常执行后输出如下：

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# ./redis-trib.rb create --replicas 1 47.107.71.209:7001
 47.107.71.209:7002 47.107.71.209:7003 47.107.71.209:7004 47.107.71.209:7005  47.107.71.209:7006
>>> Creating cluster
Connecting to node 47.107.71.209:7001: OK
Connecting to node 47.107.71.209:7002: OK
Connecting to node 47.107.71.209:7003: OK
Connecting to node 47.107.71.209:7004: OK
Connecting to node 47.107.71.209:7005: OK
Connecting to node 47.107.71.209:7006: OK
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
47.107.71.209:7001
47.107.71.209:7002
47.107.71.209:7003
Adding replica 47.107.71.209:7004 to 47.107.71.209:7001
Adding replica 47.107.71.209:7005 to 47.107.71.209:7002
Adding replica 47.107.71.209:7006 to 47.107.71.209:7003
M: 22df1bf6685be1b8430ff900283a875f7f3b825d 47.107.71.209:7001
   slots:0-5460 (5461 slots) master
M: 561510d9f03ed29eb6efc7aa53ec615e3e439ccd 47.107.71.209:7002
   slots:5461-10922 (5462 slots) master
M: 6287285f5bc586fd7ab34d5379421ca5cf6f63b1 47.107.71.209:7003
   slots:10923-16383 (5461 slots) master
S: 1dcea6b992ebc2fd091f2b70f209c79cd484410c 47.107.71.209:7004
   replicates 22df1bf6685be1b8430ff900283a875f7f3b825d
S: 2cf43f386bb4f59c32a8317998f7e0884fd57d51 47.107.71.209:7005
   replicates 561510d9f03ed29eb6efc7aa53ec615e3e439ccd
S: d4c2c7a63c552869b9734693eeb8fcaaa669eaee 47.107.71.209:7006
   replicates 6287285f5bc586fd7ab34d5379421ca5cf6f63b1
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join.....
>>> Performing Cluster Check (using node 47.107.71.209:7001)
M: 22df1bf6685be1b8430ff900283a875f7f3b825d 47.107.71.209:7001
   slots:0-5460 (5461 slots) master
M: 561510d9f03ed29eb6efc7aa53ec615e3e439ccd 47.107.71.209:7002
   slots:5461-10922 (5462 slots) master
M: 6287285f5bc586fd7ab34d5379421ca5cf6f63b1 47.107.71.209:7003
   slots:10923-16383 (5461 slots) master
M: 1dcea6b992ebc2fd091f2b70f209c79cd484410c 47.107.71.209:7004
   slots: (0 slots) master
   replicates 22df1bf6685be1b8430ff900283a875f7f3b825d
M: 2cf43f386bb4f59c32a8317998f7e0884fd57d51 47.107.71.209:7005
   slots: (0 slots) master
   replicates 561510d9f03ed29eb6efc7aa53ec615e3e439ccd
M: d4c2c7a63c552869b9734693eeb8fcaaa669eaee 47.107.71.209:7006
   slots: (0 slots) master
   replicates 6287285f5bc586fd7ab34d5379421ca5cf6f63b1
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

查询集群信息

集群创建成功登陆任意redis结点查询集群中的节点情况.

redis01/redis-cli -h 47.107.71.209 -p 7002 -c
说明：

./redis-cli -c -h 192.168.101.3 -p 7001 ，其中-c表示以集群方式连接redis，-h指定ip地址，-p指定端口号

cluster nodes 查询集群结点信息

cluster info 查询集群状态信息

注意：集群方式连接一定要配上-c参数，不然在添加值时会出现槽不在本节点上的错误(error) MOVED 15495 47.107.71.209:7003

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# redis01/redis-cli -h 47.107.71.209 -p 7002
47.107.71.209:7002> set a 100
(error) MOVED 15495 47.107.71.209:7003
47.107.71.209:7002> 
[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# redis01/redis-cli -h 47.107.71.209 -p 7002 -c
47.107.71.209:7002> set a 100
-> Redirected to slot [15495] located at 47.107.71.209:7003
OK
47.107.71.209:7003> set hello add
-> Redirected to slot [866] located at 47.107.71.209:7001
OK

有时候我们需要关闭集群，一个一个手动太麻烦，如法炮制
在shutdown.sh里添加：

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# vim shutdown.sh

[root@iZwz9c6u1iybgf3f7s8cg6Z redis-cluster]# chmod +x shutdown.sh

用Redis Desktop Manager连接测试



连接成功，左侧出现redis数据库。

用Java连接测试

单机版

@Test
public void testJedisSingle(){
    //创建一个jedis对象
    Jedis jedis =new Jedis("47.107.71.209", 7001);
    //调用jedis对象的方法，对应的方法和jedis命令一致
    jedis.set("key2","jedis test2");
    String string = jedis.get("key2");
    System.out.println(string);
    //关闭jedis
    jedis.close();
}

/**
 * 使用连接池
 */

@Test
public void testJedisPool(){
    //创建jedis连接池
    JedisPool jedisPool=new JedisPool("47.107.71.209", 7002);
    Jedis jedis=jedisPool.getResource();
    String string = jedis.get("key1");
    System.out.println(string);
    jedis.close();
    jedisPool.close();

}

测试结果：
控制台输出

服务器查询

集群版

/**
 * 集群版测试
 */
@Test
public void testJedisCluster(){
    HashSet<HostAndPort> nodes=new HashSet();
    nodes.add(new HostAndPort("47.107.71.209", 7001));
    nodes.add(new HostAndPort("47.107.71.209", 7002));
    nodes.add(new HostAndPort("47.107.71.209", 7003));
    nodes.add(new HostAndPort("47.107.71.209", 7004));
    nodes.add(new HostAndPort("47.107.71.209", 7005));
    nodes.add(new HostAndPort("47.107.71.209", 7006));
    JedisCluster cluster=new JedisCluster(nodes);
    cluster.set("key3", "value");
    String string = cluster.get("key3");
    System.out.println(string);
    cluster.close();
}

测试结果：
控制台输出

服务器查询

总结

redis简单的搭建和配置都不难，并且连接测试也很简单。遇到的坑：在客户端连接集群的时候一定要以集群的方式连接，不然添加值在进行hash槽分配的时候可能会报错。

赏

你的鼓励，是使我前进的力量

微信
|阅读量()

扫一扫，分享到微信

微信分享二维码
总访问量: 总访客:

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>我只是个使用者，感谢litten<br>谢谢大家