Redis主从+Sentinel安装配置

原

大橙子 2021-05-31

§ 前提说明

我们配置一主两从的redis，并使用 3台sentinel来监控redis，

三台redis服务器配置：

192.168.56.101 主
192.168.56.102 从
192.168.56.103 从

三台sentinel服务器和redis在一起

192.168.56.101 sentinel1
192.168.56.102 sentinel2
192.168.56.103 sentinel3

§ 下载redis

下载地址

§ 运行安装脚本

将redis上传至服务器的/usr/local/software下，并运行以下脚本

#!/bin/bash
# 软件位置
SOFT_PATH=/usr/local/software
# 安装目录
INSTALL_PATH=/usr/local/redis-5.0.9

echo -e "1.进入压缩包路径"
cd $SOFT_PATH

echo -e "2.解压缩安装包"
tar -xzf redis-5.0.9.tar.gz

echo -e "3.切换到redis解压目录下，执行编译"
cd redis-5.0.9 && make

echo -e "4.安装"
make PREFIX=$INSTALL_PATH install

echo -e "5.配置开机启动"
cd /etc && mkdir redis && cp $SOFT_PATH/redis-5.0.9/redis.conf /etc/redis/6379.conf && 
cd redis && cp $SOFT_PATH/redis-5.0.9/utils/redis_init_script /etc/init.d/redisd && 
chkconfig redisd on

echo -e "6.建立软连接"
ln -s $INSTALL_PATH/bin/* /usr/local/bin/

echo -e "7.启动服务"
echo -e "先不启动，等改完配置文件再启动"
# 可以先不启动，等改完配置文件再启动
# service redisd start

echo -e "8.打开端口"
firewall-cmd --zone=public --add-port=6379/tcp --permanent && firewall-cmd --reload && firewall-cmd --list-ports

注意事项：

会自动安装redis到安装目录中，并开通6379 端口
脚本中会将启动脚本redis-5.0.9/utils/redis_init_script 复制到 /etc/init.d/redisd
脚本中会将启动时的配置redis-5.0.9/redis.conf 复制到 /etc/redis/下并重新命名为6379.conf

§ 找到合适的数据目录

查询服务器那个位置空间比较大

df -h

找到大的空间目录来存储，例如我这里在 /home/redis-data来存储redis数据，在/home/sentinel-data 来存储sentinel数据

§ 配置`6379.conf`配置文件

修改 6379.conf配置文件

以下修改内容改为自己需要的配置

# 绑定的ip
bind 192.168.56.101
# 端口
port 6379
# 改为后台启动
daemonize yes
# 备份条件
save 900 1
save 300 10
save 60 10000
# 数据目录
dir "/home/redis-data"
# 密码
requirepass "chf"
# 如果填写了密码则主从复制时需要填写对应密码
masterauth "chf"
# 初始主从配置，从节点要配置，主节点不配置
replicaof 192.168.56.103 6379

其他配置请参考最后的配置项

§ 配置启动脚本

修改启动脚本，增加关闭redis时的ip地址和密码，否则redis 使用service redisd stop关闭时会出错。

#!/bin/sh
#
# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.

### BEGIN INIT INFO
# Provides:     redis_6379
# Default-Start:        2 3 4 5
# Default-Stop:         0 1 6
# Short-Description:    Redis data structure server
# Description:          Redis data structure server. See https://redis.io
### END INIT INFO

REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/run/redis_${REDISPORT}.pid
CONF="/etc/redis/${REDISPORT}.conf"

case "$1" in
    start)
        if [ -f $PIDFILE ]
        then
                echo "$PIDFILE exists, process is already running or crashed"
        else
                echo "Starting Redis server..."
                $EXEC $CONF
        fi
        ;;
    stop)
        if [ ! -f $PIDFILE ]
        then
                echo "$PIDFILE does not exist, process is not running"
        else
                PID=$(cat $PIDFILE)
                echo "Stopping ..."
                # 如果redis使用了密码，那么这里要指定ip和密码来关闭
                $CLIEXEC -h 192.168.8.16 -p $REDISPORT -a pwdxxx shutdown
                while [ -x /proc/${PID} ]
                do
                    echo "Waiting for Redis to shutdown ..."
                    sleep 1
                done
                echo "Redis stopped"
        fi
        ;;
    *)
        echo "Please use start or stop as first argument"
        ;;
esac

以上操作三台redis服务器都需要配置

§ 启动并查看主从状态

§ 启动`redis`

service redisd start

如果要关闭可以使用service redisd stop, redis 默认的脚本只支持这两种命令

查看redis是否启动

netstat -ntlp

看到 6379 端口在活动则证明redis 已经启动

同样的方式可以启动其他两台redis 服务器

§ 查看主从状态

查看主服务器状态

[root@localhost ~]# redis-cli -h 192.168.56.101 -p 6379 -a chf info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master # 角色：主
connected_slaves:2 # 一共有两台从服务器
slave0:ip=192.168.56.102,port=6379,state=online,offset=992891,lag=0
slave1:ip=192.168.56.103,port=6379,state=online,offset=992748,lag=1
master_replid:f43028e91895b71332f2abfea6327ed78f5f324b
master_replid2:52298be8ea5035cdb3b24dae56b1907b020d6573
master_repl_offset:992891
second_repl_offset:987804
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:974675
repl_backlog_histlen:18217

查看从服务器状态

[root@localhost ~]# redis-cli -h 192.168.56.102 -p 6379 -a chf info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave # 角色：从
master_host:192.168.56.101 # 主服务器ip
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:1011893
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:f43028e91895b71332f2abfea6327ed78f5f324b
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1011893
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:991545
repl_backlog_histlen:20349

[root@localhost src]# redis-cli -h 192.168.56.103 -p 6379 -a chf info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:192.168.56.101
master_port:6379
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:1017069
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:f43028e91895b71332f2abfea6327ed78f5f324b
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1017069
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:992011
repl_backlog_histlen:25059

§ 配置哨兵

在redis 解压后的文件夹中有默认的 sentinel 配置文件，我们将它同样复制到 /etc/redis/sentinel.conf 便于统一管理

§ 复制文件

cp /usr/local/software/redis-5.0.9/sentinel.conf /etc/redis/sentinel.conf

§ 配置哨兵配置文件

修改文件，三个哨兵都一样配置

protected-mode no
# 该myid每一个sentinel不能一样，最好注释掉，让系统自动生成
# sentinel myid d67f0df9d4e966b8426752c3e9a49d4d46a1ee73
# 不使用0.0.0.0 sentinel无法通讯有时候会形成脑裂
bind 0.0.0.0
port 26379
daemonize yes
# 初始监控主节点位置和集群名称|ip地址|客观下线阈值
sentinel monitor mymaster 192.168.56.101 6379 2
pidfile "/var/run/redis-sentinel.pid"
# 哨兵日志位置
logfile "/var/log/sentinel.log"
# 哨兵数据目录
dir "/home/sentinel-data"
# redis如果配置了密码，该选项必须配置，否则哨兵无法连接
sentinel auth-pass mymaster chf

§ 启动哨兵

# 启动哨兵，并指定配置文件位置
redis-sentinel /etc/redis/sentinel.conf

§ 关闭哨兵

默认没有关闭哨兵的关闭方式我们可以用 kill -9 来关闭,用以下脚本找到哨兵进程并关闭

netstat -ntlp | grep redis-sentine| awk '{print $NF}'|cut -d/ -f1|xargs kill -9

§ 查看 sentinel 状态


[root@localhost ~]# redis-cli -h 192.168.56.101 -p 26379 -a chf info Sentinel
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.56.101:6379,slaves=2,sentinels=3

§ 验证 `failover`

§ 打开三台sentinel的日志

在三台sentinel 服务器上打开日志文件并观察

# 根据我们配置sentinel的日志位置打开
tail -f -n100 /var/log/sentinel.log

§ 关闭 `redis` 主节点

我这里 192.168.56.101 是主节点，在该服务器上操作

[root@localhost ~]# service redisd stop
Stopping ...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Redis stopped

§ 观察sentinel 日志

主 sentinel 节点日志：

#如果redis 超过sentinel 的默认30秒时间没有响应则认为主观下线
28347:X 31 May 2021 17:11:08.109 # +sdown master mymaster 192.168.56.101 6379
# 投票超过 2/3 则认为客观下线
28347:X 31 May 2021 17:11:08.176 # +odown master mymaster 192.168.56.101 6379 #quorum 3/2
28347:X 31 May 2021 17:11:08.176 # +new-epoch 1
# 尝试故障转移
28347:X 31 May 2021 17:11:08.176 # +try-failover master mymaster 192.168.56.101 6379
# 投票选举sentinel leader节点执行故障转移
28347:X 31 May 2021 17:11:08.177 # +vote-for-leader 1fc72c1ff14ed46e15bf7b060de78470f2e0d083 1
28347:X 31 May 2021 17:11:08.180 # d67f0df9d4e966b8426752c3e9a49d4d46a1ee73 voted for 1fc72c1ff14ed46e15bf7b060de78470f2e0d083 1
28347:X 31 May 2021 17:11:08.181 # ffde5853b9ba7ed5b3b4f02f220c962b8ecdd553 voted for 1fc72c1ff14ed46e15bf7b060de78470f2e0d083 1
28347:X 31 May 2021 17:11:08.268 # +elected-leader master mymaster 192.168.56.101 6379
28347:X 31 May 2021 17:11:08.269 # +failover-state-select-slave master mymaster 192.168.56.101 6379
# 选择从服务器作为即将上任的主服务器
28347:X 31 May 2021 17:11:08.360 # +selected-slave slave 192.168.56.102:6379 192.168.56.102 6379 @ mymaster 192.168.56.101 6379
# 将备选节点执行命令 slaveof none
28347:X 31 May 2021 17:11:08.360 * +failover-state-send-slaveof-noone slave 192.168.56.102:6379 192.168.56.102 6379 @ mymaster 192.168.56.101 6379
# 升级从节点为主节点
28347:X 31 May 2021 17:11:08.461 * +failover-state-wait-promotion slave 192.168.56.102:6379 192.168.56.102 6379 @ mymaster 192.168.56.101 6379
28347:X 31 May 2021 17:11:09.040 # +promoted-slave slave 192.168.56.102:6379 192.168.56.102 6379 @ mymaster 192.168.56.101 6379
28347:X 31 May 2021 17:11:09.041 # +failover-state-reconf-slaves master mymaster 192.168.56.101 6379
# 重写配置文件
28347:X 31 May 2021 17:11:09.114 * +slave-reconf-sent slave 192.168.56.103:6379 192.168.56.103 6379 @ mymaster 192.168.56.101 6379
28347:X 31 May 2021 17:11:09.282 # -odown master mymaster 192.168.56.101 6379
28347:X 31 May 2021 17:11:10.072 * +slave-reconf-inprog slave 192.168.56.103:6379 192.168.56.103 6379 @ mymaster 192.168.56.101 6379
28347:X 31 May 2021 17:11:10.072 * +slave-reconf-done slave 192.168.56.103:6379 192.168.56.103 6379 @ mymaster 192.168.56.101 6379
# 故障转移完成
28347:X 31 May 2021 17:11:10.172 # +failover-end master mymaster 192.168.56.101 6379
28347:X 31 May 2021 17:11:10.172 # +switch-master mymaster 192.168.56.101 6379 192.168.56.102 6379
# 将从节点重新follw 新的主节点
28347:X 31 May 2021 17:11:10.172 * +slave slave 192.168.56.103:6379 192.168.56.103 6379 @ mymaster 192.168.56.102 6379
28347:X 31 May 2021 17:11:10.172 * +slave slave 192.168.56.101:6379 192.168.56.101 6379 @ mymaster 192.168.56.102 6379
# 因为101的redis服务器关闭了，所以这里主观下线了
28347:X 31 May 2021 17:11:40.217 # +sdown slave 192.168.56.101:6379 192.168.56.101 6379 @ mymaster 192.168.56.102 6379

从 sentinel 节点日志


5176:X 31 May 2021 17:11:08.113 # +sdown master mymaster 192.168.56.101 6379
5176:X 31 May 2021 17:11:08.190 # +new-epoch 1
5176:X 31 May 2021 17:11:08.191 # +vote-for-leader 1fc72c1ff14ed46e15bf7b060de78470f2e0d083 1
5176:X 31 May 2021 17:11:09.127 # +config-update-from sentinel 1fc72c1ff14ed46e15bf7b060de78470f2e0d083 192.168.56.102 26379 @ mymaster 192.168.56.101 6379
5176:X 31 May 2021 17:11:09.127 # +switch-master mymaster 192.168.56.101 6379 192.168.56.102 6379
5176:X 31 May 2021 17:11:09.127 * +slave slave 192.168.56.103:6379 192.168.56.103 6379 @ mymaster 192.168.56.102 6379
5176:X 31 May 2021 17:11:09.127 * +slave slave 192.168.56.101:6379 192.168.56.101 6379 @ mymaster 192.168.56.102 6379
5176:X 31 May 2021 17:11:39.149 # +sdown slave 192.168.56.101:6379 192.168.56.101 6379 @ mymaster 192.168.56.102 6379


28601:X 31 May 2021 17:11:08.108 # +sdown master mymaster 192.168.56.101 6379
28601:X 31 May 2021 17:11:08.179 # +new-epoch 1
28601:X 31 May 2021 17:11:08.181 # +vote-for-leader 1fc72c1ff14ed46e15bf7b060de78470f2e0d083 1
28601:X 31 May 2021 17:11:08.184 # +odown master mymaster 192.168.56.101 6379 #quorum 2/2
28601:X 31 May 2021 17:11:08.184 # Next failover delay: I will not start a failover before Mon May 31 17:17:09 2021
28601:X 31 May 2021 17:11:09.114 # +config-update-from sentinel 1fc72c1ff14ed46e15bf7b060de78470f2e0d083 192.168.56.102 26379 @ mymaster 192.168.56.101 6379
28601:X 31 May 2021 17:11:09.114 # +switch-master mymaster 192.168.56.101 6379 192.168.56.102 6379
28601:X 31 May 2021 17:11:09.115 * +slave slave 192.168.56.103:6379 192.168.56.103 6379 @ mymaster 192.168.56.102 6379
28601:X 31 May 2021 17:11:09.115 * +slave slave 192.168.56.101:6379 192.168.56.101 6379 @ mymaster 192.168.56.102 6379
28601:X 31 May 2021 17:11:39.142 # +sdown slave 192.168.56.101:6379 192.168.56.101 6379 @ mymaster 192.168.56.102 6379

§ 注意事项

故障转移后如果之前的主节点恢复后会作为从节点follw新的主节点

§ Redis配置文件参数说明 :

Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
```
daemonize no
```
当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
```
pidfile /var/run/redis.pid
```
指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字
```
port 6379
```
绑定的主机地址
```
bind 127.0.0.1
```
当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
```
timeout 300
```
指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
```
loglevel verbose
```
日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
```
logfile stdout
```
设置数据库的数量，默认数据库为0，可以使用SELECT 命令在连接上指定数据库id
```
databases 16
```

指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合

save <seconds> <changes>

Redis默认配置文件中提供了三个条件：

save 900 1
save 300 10
save 60 10000
分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
```
rdbcompression yes
```
指定本地数据库文件名，默认值为dump.rdb
```
dbfilename dump.rdb
```
指定本地数据库存放目录
```
dir ./
```
设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
```
slaveof <masterip> <masterport>
```
当master服务设置了密码保护时，slav服务连接master的密码
```
masterauth <master-password>
```
设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH 命令提供密码，默认关闭
```
requirepass foobared
```
设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
```
maxclients 128
```
指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
```
maxmemory <bytes>
```
指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
```
appendonly no
```
指定更新日志文件名，默认为appendonly.aof
```
 appendfilename appendonly.aof
```
指定更新日志条件，共有3个可选值：
no ：表示等操作系统进行数据缓存同步到磁盘（快）
always ：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）
everysec ：表示每秒同步一次（折衷，默认值）
```
appendfsync everysec
```
指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
```
 vm-enabled no
```
虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
```
 vm-swap-file /tmp/redis.swap
```
将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
```
 vm-max-memory 0
```
Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不确定，就使用默认值
```
 vm-page-size 32
```
设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。
```
 vm-pages 134217728
```
设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
```
 vm-max-threads 4
```
设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
```
glueoutputbuf yes
```
指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
```
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
```
指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）
```
activerehashing yes
```
指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件
```
include /path/to/local.conf
```

Redis主从+Sentinel安装配置

§ 前提说明

§ 下载redis

§ 运行安装脚本

§ 找到合适的数据目录

§ 配置`6379.conf`配置文件

§ 配置启动脚本

§ 启动并查看主从状态

§ 启动`redis`

§ 查看主从状态

§ 配置哨兵

§ 复制文件

§ 配置哨兵配置文件

§ 启动哨兵

§ 关闭哨兵

§ 查看 sentinel 状态

§ 验证 `failover`

§ 打开三台sentinel的日志

§ 关闭 `redis` 主节点

§ 观察sentinel 日志

§ 注意事项

§ Redis配置文件参数说明 :

代码地址:

git地址

码云地址

附件:

作者信息

目录

关于

联系

Redis主从+Sentinel安装配置

§ 前提说明

§ 下载redis

§ 运行安装脚本

§ 找到合适的数据目录

§ 配置6379.conf配置文件

§ 配置启动脚本

§ 启动并查看主从状态

§ 启动redis

§ 查看主从状态

§ 配置哨兵

§ 复制文件

§ 配置哨兵配置文件

§ 启动哨兵

§ 关闭哨兵

§ 查看 sentinel 状态

§ 验证 failover

§ 打开三台sentinel的日志

§ 关闭 redis 主节点

§ 观察sentinel 日志

§ 注意事项

§ Redis配置文件参数说明 :

作者信息

目录

§ 配置`6379.conf`配置文件

§ 启动`redis`

§ 验证 `failover`

§ 关闭 `redis` 主节点