Nginx 工程实践 -- 12. 负载均衡与会话保持

反向代理把请求分发给一组上游服务器时,需要回答两个问题:分给谁(调度算法),以及同一会话是否始终落在同一台(会话保持)。前者决定利用率与容错,后者决定有状态业务能否正常跑在多层代理后面。

一、upstream 与默认调度

1
2
3
4
5
6
7
8
9
10
11
upstream backend {
server 127.0.0.1:3000;
server 127.0.0.1:3001 weight=2; # 权重 2,分到两倍流量
server 127.0.0.1:3002 backup; # 仅在前两者不可用时启用
}

server {
location /api/ {
proxy_pass http://backend;
}
}

默认是加权轮询:按 weight 比例依次分配;某台出错就把请求传给下一台,全部失败则返回最后一台的结果。

二、调度算法

算法指令选择依据适用场景
加权轮询默认 / weight=按权重轮流通用默认
IP 哈希ip_hash;客户端 IP(IPv4 前三字节 / IPv6 全地址)无会话保持方案时的兜底
通用哈希hash $key [consistent];对 $key 做哈希,consistent 为一致性哈希缓存分片、需要稳定映射
最少连接least_conn;当前活跃连接数最少请求耗时差异大
最少时间least_time;平均响应时间短且连接少商业订阅功能

要点:

  • hash 的 key 可用变量组合,如 hash $request_uri consistent;;consistent 能减少扩缩容时的重映射;
  • backup 与 down 标记的服务器只在主服务器不可用时使用;down 是"永久下线";
  • 一个 server 的 upstream 组不会做故障摘除(max_fails/fail_timeout 被忽略),单点必须靠冗余与监控。

三、健康检查:被动与主动

被动健康检查(内置):失败达到阈值就临时摘除。

1
2
3
4
upstream backend {
server 127.0.0.1:3000 max_fails=3 fail_timeout=30s;
server 127.0.0.1:3001 max_fails=3 fail_timeout=30s;
}

在 fail_timeout(默认 10s)内累计失败 max_fails(默认 1)次,该 server 在同样时长内不再分配请求,之后自动重新尝试。

主动健康检查(需要额外能力):周期性发探测请求,更准确但消耗资源。Nginx Plus 提供 health_check;开源版可用第三方方案(如 nginx_upstream_check_module 或 Tengine 的 check 指令)。

stateDiagram-v2
    [*] --> 正常
    正常 --> 失败计数: 请求失败(error/timeout 等)
    失败计数 --> 正常: 请求成功
    失败计数 --> 不可用: fail_timeout 内累计达到 max_fails
    不可用 --> 正常: 超过 fail_timeout,重新参与调度
    正常 --> 不可用: max_fails 次连续失败

四、连接复用:keepalive

默认情况下 Nginx 与上游每个请求都新建连接,握手开销大。在 upstream 里开 keepalive 缓存空闲连接:

1
2
3
4
5
6
7
8
9
10
11
12
upstream backend {
server 127.0.0.1:3000;
keepalive 32; # 每 worker 保留的空闲连接数
keepalive_requests 1000;
keepalive_timeout 60s;
}

location /api/ {
proxy_pass http://backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
}
  • 必须配 proxy_http_version 1.1; 并清空 Connection 头,复用才生效(新版本默认已处理,但显式写更稳);
  • keepalive 是每 worker 的缓存上限,不是总连接数上限;
  • keepalive_requests / keepalive_timeout 到期后关闭连接,释放内存。

五、会话保持

方式写法说明
IP 哈希ip_hash;按客户端 IP 分配;IPv4 用前三字节、IPv6 用整地址;同一 IP 总落同一台(除非该机不可用)
通用哈希hash $cookie_session consistent;按指定 key 哈希,灵活但要自己选稳定的 key
Cookie 注入sticky cookie srv_id ...;首次响应种下标识 cookie,后续按 cookie 路由;较新版本/商业版提供

注意:

  • 会话保持会牺牲一部分负载均衡性(热点、扩缩容时分布不均),只在确有需要时开启;
  • ip_hash 在客户端来自同一出口 IP(公司/NAT)时会把大量用户压到一台,慎用;
  • 用 hash 做会话保持时,建议配合 consistent,减少节点变化引起的会话漂移。

六、排错

现象原因 / 处理
流量分布不均weight 配错;ip_hash/会话保持导致热点
某台从不接收请求被标记 down/backup;或 max_fails 后未恢复
502 后一直打到坏节点max_fails 太大或 fail_timeout 太长;调小
连接数暴涨没开 keepalive;或 keepalive 太小导致频繁重建
复用连接偶发 502上游提前关闭空闲连接;调大上游 keepalive 超时或减小 Nginx 缓存
会话保持失效cookie 名/属性不对;hash 的 key 未携带会话标识

参考链接

  1. Nginx 官方文档:ngx_http_upstream_module —— 调度算法、max_fails/fail_timeout、backup/down、keepalive、sticky;
  2. Nginx 官方文档:ngx_http_proxy_module(proxy_http_version / Connection) —— 连接复用所需配置;
  3. nginx_upstream_check_module —— 开源主动健康检查;
  4. Nginx 官方文档:ngx_http_upstream_module(queue) —— 所有上游不可用时的排队行为。

小结

  • 默认加权轮询够用;hash + consistent、least_conn 按场景选;
  • 被动健康检查靠 max_fails + fail_timeout,主动检查要额外模块/商业版;
  • 上游 keepalive 配合 proxy_http_version 1.1 + 空 Connection,显著降低握手开销;
  • 会话保持用 ip_hash/hash/sticky,但会牺牲均衡性,按需开启;
  • 单 server 组不会自动摘除,冗余与监控不能省。

系列导航


Nginx 工程实践 -- 12. 负载均衡与会话保持
https://bubao.github.io/posts/c2d3e4f5.html
作者
一念
发布于
2026年11月21日
许可协议