Nginx 工程实践 -- 12. 负载均衡与会话保持
反向代理把请求分发给一组上游服务器时,需要回答两个问题:分给谁(调度算法),以及同一会话是否始终落在同一台(会话保持)。前者决定利用率与容错,后者决定有状态业务能否正常跑在多层代理后面。
一、upstream 与默认调度
1 | |
默认是加权轮询:按 weight 比例依次分配;某台出错就把请求传给下一台,全部失败则返回最后一台的结果。
二、调度算法
| 算法 | 指令 | 选择依据 | 适用场景 |
|---|---|---|---|
| 加权轮询 | 默认 / weight= | 按权重轮流 | 通用默认 |
| IP 哈希 | ip_hash; | 客户端 IP(IPv4 前三字节 / IPv6 全地址) | 无会话保持方案时的兜底 |
| 通用哈希 | hash $key [consistent]; | 对 $key 做哈希,consistent 为一致性哈希 | 缓存分片、需要稳定映射 |
| 最少连接 | least_conn; | 当前活跃连接数最少 | 请求耗时差异大 |
| 最少时间 | least_time; | 平均响应时间短且连接少 | 商业订阅功能 |
要点:
hash的 key 可用变量组合,如hash $request_uri consistent;;consistent能减少扩缩容时的重映射;backup与down标记的服务器只在主服务器不可用时使用;down是"永久下线";- 一个 server 的 upstream 组不会做故障摘除(
max_fails/fail_timeout被忽略),单点必须靠冗余与监控。
三、健康检查:被动与主动
被动健康检查(内置):失败达到阈值就临时摘除。
1 | |
在 fail_timeout(默认 10s)内累计失败 max_fails(默认 1)次,该 server 在同样时长内不再分配请求,之后自动重新尝试。
主动健康检查(需要额外能力):周期性发探测请求,更准确但消耗资源。Nginx Plus 提供 health_check;开源版可用第三方方案(如 nginx_upstream_check_module 或 Tengine 的 check 指令)。
stateDiagram-v2
[*] --> 正常
正常 --> 失败计数: 请求失败(error/timeout 等)
失败计数 --> 正常: 请求成功
失败计数 --> 不可用: fail_timeout 内累计达到 max_fails
不可用 --> 正常: 超过 fail_timeout,重新参与调度
正常 --> 不可用: max_fails 次连续失败
四、连接复用:keepalive
默认情况下 Nginx 与上游每个请求都新建连接,握手开销大。在 upstream 里开 keepalive 缓存空闲连接:
1 | |
- 必须配
proxy_http_version 1.1;并清空Connection头,复用才生效(新版本默认已处理,但显式写更稳); keepalive是每 worker 的缓存上限,不是总连接数上限;keepalive_requests/keepalive_timeout到期后关闭连接,释放内存。
五、会话保持
| 方式 | 写法 | 说明 |
|---|---|---|
| IP 哈希 | ip_hash; | 按客户端 IP 分配;IPv4 用前三字节、IPv6 用整地址;同一 IP 总落同一台(除非该机不可用) |
| 通用哈希 | hash $cookie_session consistent; | 按指定 key 哈希,灵活但要自己选稳定的 key |
| Cookie 注入 | sticky cookie srv_id ...; | 首次响应种下标识 cookie,后续按 cookie 路由;较新版本/商业版提供 |
注意:
- 会话保持会牺牲一部分负载均衡性(热点、扩缩容时分布不均),只在确有需要时开启;
ip_hash在客户端来自同一出口 IP(公司/NAT)时会把大量用户压到一台,慎用;- 用
hash做会话保持时,建议配合consistent,减少节点变化引起的会话漂移。
六、排错
| 现象 | 原因 / 处理 |
|---|---|
| 流量分布不均 | weight 配错;ip_hash/会话保持导致热点 |
| 某台从不接收请求 | 被标记 down/backup;或 max_fails 后未恢复 |
| 502 后一直打到坏节点 | max_fails 太大或 fail_timeout 太长;调小 |
| 连接数暴涨 | 没开 keepalive;或 keepalive 太小导致频繁重建 |
| 复用连接偶发 502 | 上游提前关闭空闲连接;调大上游 keepalive 超时或减小 Nginx 缓存 |
| 会话保持失效 | cookie 名/属性不对;hash 的 key 未携带会话标识 |
参考链接
- Nginx 官方文档:ngx_http_upstream_module —— 调度算法、
max_fails/fail_timeout、backup/down、keepalive、sticky; - Nginx 官方文档:ngx_http_proxy_module(proxy_http_version / Connection) —— 连接复用所需配置;
- nginx_upstream_check_module —— 开源主动健康检查;
- Nginx 官方文档:ngx_http_upstream_module(queue) —— 所有上游不可用时的排队行为。
小结
- 默认加权轮询够用;
hash+consistent、least_conn按场景选; - 被动健康检查靠
max_fails+fail_timeout,主动检查要额外模块/商业版; - 上游
keepalive配合proxy_http_version 1.1+ 空Connection,显著降低握手开销; - 会话保持用
ip_hash/hash/sticky,但会牺牲均衡性,按需开启; - 单 server 组不会自动摘除,冗余与监控不能省。
系列导航
Nginx 工程实践 -- 12. 负载均衡与会话保持
https://bubao.github.io/posts/c2d3e4f5.html
