/redis_all_about/
Redis Sentinel最大连接数
  1. Redis 数据操作
    1. Redis key操作
      1. Redis 列出key
      2. Redis 测试指定key是否存在
      3. Redis 删除给定key
      4. Redis 返回给定key的value类型
      5. Redis 返回从当前数据库中随机选择的一个key
      6. Redis 原子的重命名一个key
      7. Redis Key的超时设置处理
    2. Redis 字符串操作
      1. Redis 设置key对应的值为string类型的value
      2. Redis 获取key对应的string值
      3. Redis 增减操作
      4. Redis 追加字符串
      5. Redis 截取字符串
      6. Redis 改写字符串
      7. Redis 返回子字符串
      8. Redis 中文字符串处理
      9. Redis 取指定key的value值的长度
      10. Redis 位操作
    3. Redis 列表操作
      1. Redis 添加元素
      2. Redis 查看列表长度
      3. Redis 查看元素
      4. Redis 查看一段列表
      5. Redis 截取list
      6. Redis 删除元素
      7. Redis 设置list中指定下标的元素值
      8. Redis 阻塞队列
    4. Redis 集合操作
      1. Redis 添加元素
      2. Redis 移除元素
      3. Redis 删除并返回元素
      4. Redis 随机返回一个元素
      5. Redis 集合间移动元素
      6. Redis 查看集合大小
      7. Redis 判断member是否在set中
      8. Redis 集合交集
      9. Redis 集合并集
      10. Redis 集合差集
      11. Redis 获取所有元素
    5. Redis 有序集合操作
      1. Redis 删除元素
      2. Redis 增加score
      3. Redis 获取排名
      4. Redis 获取排行榜
      5. Redis 返回给定分数区间的元素
      6. Redis 返回集合中score在给定区间的数量
      7. Redis 返回集合中元素个数
      8. Redis 返回给定元素对应的score
      9. Redis 评分的聚合
    6. Redis 哈希操作
      1. Redis 设置hash值
      2. Redis 获取hash值
      3. Redis 递增某一个域的值
      4. Redis 判断某一个域是否存在
      5. Redis 删除域
      6. Redis 获取域的数量
      7. Redis 获取所有的域名
      8. Redis 获取所有域的值
      9. Redis 获取所有域名和值
    7. Redis HyperLogLog操作
      1. Redis 返回给定 HyperLogLog 的基数估算值
      2. Redis 将元素添加至 HyperLogLog
      3. Redis 合并多个 HyperLogLog
  2. Redis 专题功能
    1. Redis 排序
    2. Redis 事务
    3. Redis 流水线
    4. Redis 发布订阅
  3. Redis 开发设计规范
    1. Redis 超时设置
    2. Redis 内存考虑
    3. Redis 延迟考虑
    4. Redis 典型使用场景参考
    5. Redis 客户端推荐
  4. Redis 上线部署规划
    1. Redis 内存、CPU规划
    2. Redis 网卡RPS设置
    3. Redis 服务器部署位置
    4. Redis 持久化设置
    5. Redis 多实例配置
    6. Redis 具体设置参数
    7. Redis 其他好用的配置技巧
  5. Redis 常见运维操作
    1. Redis 停止
    2. Redis 查看和修改配置
    3. Redis 批量执行操作
    4. Redis 选择数据库
    5. Redis 清空数据库
    6. Redis 重命名命令
    7. Redis 执行lua脚本
    8. Redis 设置密码
    9. Redis 验证密码
    10. Redis-cli命令行其他操作
    11. Redis 持久化与备份恢复
      1. RDB相关操作
      2. AOF相关操作
      3. Redis 备份
      4. Redis 恢复
  6. Redis 数据迁移
    1. Redis 将key从当前数据库移动到指定数据库
  7. Redis 问题处理
    1. Redis 一般处理流程
      1. Redis 探测服务是否可用
      2. Redis 探测服务延迟
      3. Redis 查看统计信息
      4. Redis 获取慢查询
      5. Redis 查看客户端
      6. Redis 查看日志
    2. Redis 并发延迟检查
      1. Redis 检查CPU情况
      2. Redis 检查网络情况
      3. Redis 检查系统情况
      4. Redis 检查连接数
      5. Redis 检查持久化
      6. Redis 检查命令执行情况
    3. Redis 内存检查
      1. Redis 系统swap内存查看
      2. Redis 系统内存查看
      3. Redis info查看内存
      4. Redis dump.rdb文件成生内存报告（rdb-tool）
      5. Redis query在线分析
      6. Redis 内存抽样分析
      7. Redis 统计生产上比较大的key
      8. Redis 查看key内部结构和编码等信息
      9. Redis Rss增加，内存碎片增加
  8. Redis 测试方法
    1. Redis 模拟oom
    2. Redis 模拟宕机
    3. Redis 模拟hang
    4. Redis 快速产生测试数据
    5. Redis 模拟RDB load情形
    6. Redis 模拟AOF加载情形
  9. Redis安全问题
    1. Redis Shell提权问题
  10. Redis 高可用和集群简述
    1. Redis 高可用与分片的概念
    2. Redis 高可用主要场景和对应思路
    3. Redis 分片主要场景和对应思路
    4. Redis 适用场景对比列表
  11. Redis 高可用和集群架构与实践
    1. Redis 主从复制-sentinel架构
      1. Redis 高可用原理
      2. Redis 环境搭建
      3. Redis 维护操作
      4. Redis 高可用和异常测试
      5. Redis 其他问题
阅读(833) 赞(9)

Redis Sentinel最大连接数

2017-07-04 17:57:45 更新

1. 问题描述

某准生产系统，测试运行一段时间后程序和命令行工具连接sentinel均报错，报错信息为：

jedis.exceptions.JedisDataException: ERR max number of clients reached

此时应用创建redis新连接由于sentinel已经无法响应而无法找到master的IP与端口，因此无法连接redis，并且此时如果发生redis宕机亦无法进行生产切换。

2. 问题初步排查过程

首先，通过netstat对sentinel所监听端口26379进行连接数统计，此时连接则报错。如下图：

通过sentinel服务器端统计发现，redis sentinel 的连接中大部分都是来自于两台非同网段（中间有防火墙）的应用服务器连接（均为Established状态），并且来自其的连接也大约半个小时后稳步增加一次，而同网段的应用服务器连接sentinel的连接数基本保持一致。排除了应用的特殊性（采用的jedis版本和封装的工具类都是一样的）后，初步判断此问题与网络有关，更详细的说是连接数增加与防火墙切断连接后的重连有关。

3. 问题查证过程

此问题分为两个子问题： 1) 防火墙将TCP连接设置为无效时sentinel服务器为何没有断开连接，保持Established状态？ 2) 为何连接数还会不断增加？

对于问题1) ，TCP在三次握手建立连接时OS会启动一个Timer来进行倒计时，经过一个设定的时间（这个时间建立socket的程序可以设置，如果没有设置则采用OS的参数tcp_keepalive_time，这个参数默认为7200s，即2小时）后这个连接还是没有数据传输，它就会以一定间隔（程序可以设定，如果没有设置则采用OS的参数tcp_keepalive_intvl，默认为75s）发出N（程序可以设定，如果没有设置则采用OS的参数tcp_keepalive_probes，默认为9次）次Keep Alive包。TCP连接就是通过上述的过程，在没有流量时是通过发送TCP Keep-Alive数据包，然后对方回应TCP Keep-Alive ACK来确定信道是否还在真实连接。通过查看Sentinel源代码，其默认是不开启Keepalive的（而jedis默认是开启的），并且默认对于不活动的连接也不会主动关闭的（timeout默认为0）。

对于防火墙，通过翻阅防火墙技术资料（详见下列描述，摘自：《Junos Enterprise Switching: A Practical Guide to Junos Switches and Certification》），我司采用的Juniper防火墙对于没有流量的TCP连接默认是30分钟，30分钟内没有流量就会断掉链路，而不会发送TCP Reset，同时在防火墙策略上并没有开长连接，使用的即为此默认设置。

因此在防火墙每半个小时将连接置为无效时，sentinel同时又禁止了Keepalive（因为默认设置Keepalive为0，即disable发送Keepalive包）。应用服务器的jedis虽然开启了keepalive，但是它发送的keepalive包由于防火墙已经将此链路标记为无效，而无法发送到sentinel端，而且jedis由于采用了OS默认参数，因此需要等待tcp_keepalive_time（2小时）后才启动发送Keep Alive包进行探活的，在tcp_keepalive_time+tcp_keepalive_intvl*tcp_keepalive_probes=7895s=131.58分钟后，jedis端才会认定这个连接断掉而清理掉这个连接。简单的说就是jedis会在很长一段时间后才会发keepalive包，并且这个包也是发不到sentinel上的，而sentinel本身也不会发送keepalive包，所以从sentinel这端看连接一直存在，而从jedis那端看7895s之后就会清理一次连接。这也解释了为什么防火墙将TCP连接断开后，sentinel端的连接并没有释放。

对于问题2) ，翻阅jedis源代码，jedis通过连接sentinel并pubsub来监听集群事件，以确定是否发生了切换，并且拿到新的master 地址和端口。如果断开则会5秒后尝试重连（JedisSentinelPool.java）。

因此，这是导致连接数不断上升的原因。 综上，防火墙相对频繁的断开和服务器不断重连导致在一个相对较短的时间内连接骤增，造成到达sentinel最大连接数，sentinel 的最大连接数在redis.h中定义，为10000：

4. 问题解决过程

此系统由于访问关系与网段规划间的安全问题，必须跨越防火墙，因此试图从配置角度解决此问题。

首先，联系网络相关同事，进行网络变更，开启从应用服务器到sentinel的链路相对的长连接，即无流量超时而断开的时间设置为8小时。以此手段降低断开频率，以便缓解短时间内不断重试连接造成的sentinel连接增长。

然后，通过阅读redis源代码（net.c），发现，sentinel也采用了redis 所有参数设置（通过config.c的函数void loadServerConfigFromString(char *config)）。因此，通过设置redis 的下列两个参数可以解决这个问题，第一个参数是TCP Keepalive参数，此参数默认为0，也就是不发送keepalive。也就是改变OS默认的tcp_keepalive_time参数（在Unix C的socket编程中TCP_KEEPIDLE参数对应OS 的tcp_keepalive_time参数）。

该参数的官方解释为：

# TCP keepalive.
#
# If non-zero, use SO_KEEPALIVE to send TCP ACKs to clients in absence
# of communication. This is useful for two reasons:
#
# 1) Detect dead peers.
# 2) Take the connection alive from the point of view of network
#    equipment in the middle.
#
# On Linux, the specified value (in seconds) is the period used to send ACKs.
# Note that to close the connection the double of the time is needed.
# On other kernels the period depends on the kernel configuration.
#
# A reasonable value for this option is 60 seconds.

我们设置为tcp-keepalive 60，加快回收连接速度，从网络断开到连接清理时间缩短为60+75*9=12.25分钟。

同时，通过设置maxclients为65536，增大sentinel最大连接数，使得在上述12.25分钟即使有某种异常导致sentinel连接数增加也不至于到达最大限制。此参数的官方解释为：

################################### LIMITS ####################################

# Set the max number of connected clients at the same time. By default
# this limit is set to 10000 clients, however if the Redis server is not
# able to configure the process file limit to allow for the specified limit
# the max number of allowed clients is set to the current file limit
# minus 32 (as Redis reserves a few file descriptors for internal uses).
#
# Once the limit is reached Redis will close all the new connections sending
# an error 'max number of clients reached'.
#
maxclients 10000

对于redis 的timeout参数，由于启用这个参数有程序微小开销（会调用redis.c中的int clientsCronHandleTimeout(redisClient *c, mstime_t now_ms)），决定保持默认为0，而通过上述参数使用OS进行连接断开。

5. 问题解决结果

通过开发、网络和数据库团队的协同努力，配置上述参数和修改防火墙策略后，手动增加sentinel进程，超过原默认最大连接数10000后sentinel可以正常访问操作，并且通过tcpdump进行抓包，在指定时间内（1分钟），就有KeepAlive包对每个sentinel TCP连接进行探活，经过观察sentinel连接稳定，再未出现短时间内暴涨的情况。

6. 问题后续

在redis中默认不开启keepalive就是为了尽可能减小网络负载，榨干网络性能，尽可能达到redis的。在后续的程序运行中，如果发现网络是瓶颈时（在相当长的一段时间内不会），可以加大sentinel的keepalive参数，减小keepalive数据包的传输，这个修改是不影响redis对外服务的。

参考文档： http://www.tldp.org/HOWTO/html_single/TCP-Keepalive-HOWTO/

附录：如何用TCPDUMP进行keep alive抓包

tcpdump -pni bond0 -v "src port 26379 and ( tcp[tcpflags] & tcp-ack != 0 and ( (ip[2:2] - ((ip[0]&0xf)<<2) ) - ((tcp[12]&0xf0)>>2) ) == 0 ) "

7. 问题再后续

我们后来在这个应用上发现一旦网络有抖动，sentinel的连接增加就回大幅度增加，后来通过jmap查看sentinelpool的实例竟然多达200多个，也就是说这个就是程序的问题，在sentinelpool上不应该多次实例化，而是采用已有连接进行重连。


← Redis 持久化动态修改

推荐文章

推荐教程

最新教程