NUMA架构感知的Nginx在多路服务器中如何进行核心绑定（CPU Affinity）的进阶调优？
- 内容介绍
- 文章标签
- 相关推荐
本文共计935个文字，预计阅读时间需要4分钟。
在配置双路或多路CPU插卡的服务器上，`worker_processes auto` 会将总逻辑核数（如64核）全部用于工作进程。但实际上，每个NUMA节点可能只有32个物理核心，跨节点调度会导致内存访问延迟翻倍。测试中，QPS下降40%以上时，`perf` 显示 `mem_load_retired.l3_miss` 指标上升，表明内存访问延迟显著。
正确做法是先确认拓扑：
-
lscpu | grep -E "(Socket|Core|NUMA)"→ 查 Socket 数与每 Socket 物理核数 -
numactl --hardware→ 看每个 node 的 CPU 列表和本地内存容量 -
cat /sys/devices/system/node/node*/cpulist→ 精确到每个核心编号归属
例如双路 16 核/插槽（共 32 物理核），应设：worker_processes 32，而非 64（超线程数）或 auto。
worker_cpu_affinity 手动分段绑定比 auto 更可靠
Nginx 的 auto 模式在 NUMA 场景下不感知节点边界，可能把 worker 0–15 分配到 node 0 的 CPU 0–15，但 worker 16–31 却落到 node 1 的 CPU 32–47 —— 表面“绑了”，实则跨节点访问内存。必须手动按 node 切分掩码。
典型双路 16 核/插槽配置（无超线程）：
worker_cpu_affinity 0000000000000001 0000000000000010 0000000000000100 ... ; # node 0 的 16 个核心（CPU 0–15） worker_cpu_affinity 0000000000000001 0000000000000010 0000000000000100 ... ; # node 1 的 16 个核心（CPU 16–31）
注意：掩码长度必须与系统总 CPU 数一致（如 32 位），未启用的核心位填 0；若使用超线程，只绑定物理核心对应的第一位（如 CPU 0 和 32 是同一物理核，只用 000...001）。
必须用 numactl 启动，否则内存不本地化
Nginx 自身不支持 NUMA 内存绑定，仅靠 worker_cpu_affinity 只能固定 CPU，无法控制内存分配位置。进程仍可能从远端 node 分配内存，造成 QPI 总线拥塞。
修改 systemd 服务文件 /etc/systemd/system/nginx.service：
ExecStart=/usr/bin/numactl --cpunodebind=0 --membind=0 /usr/sbin/nginx -g 'daemon on; master_process on;'
若需双 node 均衡负载，改用：--cpunodebind=0,1 --membind=0,1；但更推荐单 node 部署 + 外部负载分发，避免跨 node 竞争。
验证是否生效：cat /proc/$(pgrep nginx | head -1)/status | grep Mems_allowed_list 应只显示一个 node 编号（如 00000001）。
绑定后必须调高文件描述符限制，否则连接堆积在单核
CPU 绑定让每个 worker 独占核心，但也意味着该核心要独自扛住全部连接处理压力。默认 worker_rlimit_nofile 值（常为 1024）在万级并发下立刻打满，触发 accept() failed (24: Too many open files) 错误。
三处限制必须同步调高：
- 系统级：
fs.file-max = 2097152（写入/etc/sysctl.d/99-nginx.conf） - 用户级：
nginx soft nofile 65535与nginx hard nofile 65535（写入/etc/security/limits.conf） - Nginx 级：
worker_rlimit_nofile 65535;（写入nginx.conf全局块）
重载前务必执行 ulimit -n 检查当前会话限制是否已更新，systemd 用户还需确认 LimitNOFILE=65535 已写入 /etc/systemd/system/nginx.service.d/override.conf。
NUMA 感知调优最易被忽略的点，是以为绑了 CPU 就万事大吉——其实内存路径没对齐，性能提升会打五折甚至倒退。真实生产环境里，numactl 启动 + 掩码分段 + 文件描述符三者缺一不可。
本文共计935个文字，预计阅读时间需要4分钟。
在配置双路或多路CPU插卡的服务器上，`worker_processes auto` 会将总逻辑核数（如64核）全部用于工作进程。但实际上，每个NUMA节点可能只有32个物理核心，跨节点调度会导致内存访问延迟翻倍。测试中，QPS下降40%以上时，`perf` 显示 `mem_load_retired.l3_miss` 指标上升，表明内存访问延迟显著。
正确做法是先确认拓扑：
-
lscpu | grep -E "(Socket|Core|NUMA)"→ 查 Socket 数与每 Socket 物理核数 -
numactl --hardware→ 看每个 node 的 CPU 列表和本地内存容量 -
cat /sys/devices/system/node/node*/cpulist→ 精确到每个核心编号归属
例如双路 16 核/插槽（共 32 物理核），应设：worker_processes 32，而非 64（超线程数）或 auto。
worker_cpu_affinity 手动分段绑定比 auto 更可靠
Nginx 的 auto 模式在 NUMA 场景下不感知节点边界，可能把 worker 0–15 分配到 node 0 的 CPU 0–15，但 worker 16–31 却落到 node 1 的 CPU 32–47 —— 表面“绑了”，实则跨节点访问内存。必须手动按 node 切分掩码。
典型双路 16 核/插槽配置（无超线程）：
worker_cpu_affinity 0000000000000001 0000000000000010 0000000000000100 ... ; # node 0 的 16 个核心（CPU 0–15） worker_cpu_affinity 0000000000000001 0000000000000010 0000000000000100 ... ; # node 1 的 16 个核心（CPU 16–31）
注意：掩码长度必须与系统总 CPU 数一致（如 32 位），未启用的核心位填 0；若使用超线程，只绑定物理核心对应的第一位（如 CPU 0 和 32 是同一物理核，只用 000...001）。
必须用 numactl 启动，否则内存不本地化
Nginx 自身不支持 NUMA 内存绑定，仅靠 worker_cpu_affinity 只能固定 CPU，无法控制内存分配位置。进程仍可能从远端 node 分配内存，造成 QPI 总线拥塞。
修改 systemd 服务文件 /etc/systemd/system/nginx.service：
ExecStart=/usr/bin/numactl --cpunodebind=0 --membind=0 /usr/sbin/nginx -g 'daemon on; master_process on;'
若需双 node 均衡负载，改用：--cpunodebind=0,1 --membind=0,1；但更推荐单 node 部署 + 外部负载分发，避免跨 node 竞争。
验证是否生效：cat /proc/$(pgrep nginx | head -1)/status | grep Mems_allowed_list 应只显示一个 node 编号（如 00000001）。
绑定后必须调高文件描述符限制，否则连接堆积在单核
CPU 绑定让每个 worker 独占核心，但也意味着该核心要独自扛住全部连接处理压力。默认 worker_rlimit_nofile 值（常为 1024）在万级并发下立刻打满，触发 accept() failed (24: Too many open files) 错误。
三处限制必须同步调高：
- 系统级：
fs.file-max = 2097152（写入/etc/sysctl.d/99-nginx.conf） - 用户级：
nginx soft nofile 65535与nginx hard nofile 65535（写入/etc/security/limits.conf） - Nginx 级：
worker_rlimit_nofile 65535;（写入nginx.conf全局块）
重载前务必执行 ulimit -n 检查当前会话限制是否已更新，systemd 用户还需确认 LimitNOFILE=65535 已写入 /etc/systemd/system/nginx.service.d/override.conf。
NUMA 感知调优最易被忽略的点，是以为绑了 CPU 就万事大吉——其实内存路径没对齐，性能提升会打五折甚至倒退。真实生产环境里，numactl 启动 + 掩码分段 + 文件描述符三者缺一不可。