C P U选择多核Intel Xeon系列以上,提高并行处理能力;网络建议10Gbps及以上,减少节点间RPC传输瓶颈。
M e m o r y服务器物理内存建议≥16GB,根据数据规模调整。
并为每个RegionServer预留8GB以上可用堆外空间用于BlockCache和MemStore操作。
F S 文件程序推荐XFS支持高并发大文件,避免ext4小文件性能差;格式化挂载时禁用压缩-o compress=no
T H P 关闭透明大页减少延迟抖动:/sys/kernel/mm/transparent_hugepage/enabled never && defrag never,并写入/etc/rc.local开机自启。
D e b i a n 程序参数适配高并发需求
痛点:文件描述符耗尽连接失败,TCP缓冲区太小网络丢包重传。其实,
f i l e d e s c r i p t o r 增加限制避免句柄耗尽:在/etc/security/limits.conf添加* soft nofile 65536 * hard nofile 65536,并执行ulimit -n 65535
s w a p p i n e s s 设置为0减少Swap使用。仅适用于内存充足场景:在/etc/sysctl.conf添加vm.swappiness=0 vm.overcommit_memory=1 fs.file-max=20971520 net.core.somaxconn=4096 net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_fin_timeout=15 net.core.rmem_max/net.core.wmem_max适当放大后sysctl -p生效。
二、JVM堆内存精确规划。避免GC成为杀手
痛点:堆设置随意导致Young GC频繁或Full GC长时间停顿,影响线上SLA。
R e g i o n S e r v e r堆建议控制在16–32 G B区间,避免超过32 G B带来巨型对象晋升开销。怎么说呢,至少预留10%物理内存给操作程序及其他进程。防止OOM Killer介入。示例在/opt/hbase/conf/hbase-env.sh设置:HBASE_REGIONSERVER_OPTS="-Xms32g -Xmx32g",保持Xms=Xmx避免动态扩容抖动。旧参数写法可参考HBASE_HEAPSIZE=24g。建议值为服务器总内存的1/3~1/².
G C 策略大于24G优先选用G1GC,小堆可用CMS/ParNew。开启MSLAB功能mmap.enabled=true,hbase.hregion.memstore.mslab.enabled=true,mmap.readahead.size KB合理设置,减少MemStore碎片化。降低Full GC频率.
H B a s e 配置参数精准配比策略
B l o c k C a c h e 读取场景占比50%-70%堆内。例如读多写少业务将heap约60%分配给BlockCache。提高热点数据命中率,减少磁盘随机读;开启布隆过滤器提高查询效率.
M e m S t o r e 写方法占比≤25%。mglobal.memstore.size,默认值约为25%。防止单个Region MemStore过大触发频繁flush。通过调整mblock.multiplier×mflush.size阈值控制RegionTooBusy触发时机.
W r i t e 方法说明:HFile Flush阈值超限后触发Compaction并释放MemStore空间,若flush跟不上写入速度需扩容或降低单个列族大小.
i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同。需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.
D i b i s i n m m d f f f f f f f f f f f f . . . . . . . . . . . . . . .. .. .. .. .. .. ... ... ... ... ... ... ... ...
Dibian 上HBa se 实战调优要点:,通过硬件升级SSD/NVMe、多核CPU、高带宽网络结合操作程序关闭THP增大fd限制降低swappiness,再结合JVM合理定额16–32 GB并采用G1GC,最终精准分配BlockCache50–70%及MemStor≤25%并开启MSLAB,可可以解决写入阻塞异常GCC暂停及读取慢等主要痛点,使D eb ian集群在高并发下保持低延迟和高可用性。请根据实际业务负载持续监控GC日志Flush频率及缓存命中率动态微调至较好效果。
C P U选择多核Intel Xeon系列以上,提高并行处理能力;网络建议10Gbps及以上,减少节点间RPC传输瓶颈。
M e m o r y服务器物理内存建议≥16GB,根据数据规模调整。
并为每个RegionServer预留8GB以上可用堆外空间用于BlockCache和MemStore操作。
F S 文件程序推荐XFS支持高并发大文件,避免ext4小文件性能差;格式化挂载时禁用压缩-o compress=no
T H P 关闭透明大页减少延迟抖动:/sys/kernel/mm/transparent_hugepage/enabled never && defrag never,并写入/etc/rc.local开机自启。
D e b i a n 程序参数适配高并发需求
痛点:文件描述符耗尽连接失败,TCP缓冲区太小网络丢包重传。其实,
f i l e d e s c r i p t o r 增加限制避免句柄耗尽:在/etc/security/limits.conf添加* soft nofile 65536 * hard nofile 65536,并执行ulimit -n 65535
s w a p p i n e s s 设置为0减少Swap使用。仅适用于内存充足场景:在/etc/sysctl.conf添加vm.swappiness=0 vm.overcommit_memory=1 fs.file-max=20971520 net.core.somaxconn=4096 net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_fin_timeout=15 net.core.rmem_max/net.core.wmem_max适当放大后sysctl -p生效。
二、JVM堆内存精确规划。避免GC成为杀手
痛点:堆设置随意导致Young GC频繁或Full GC长时间停顿,影响线上SLA。
R e g i o n S e r v e r堆建议控制在16–32 G B区间,避免超过32 G B带来巨型对象晋升开销。怎么说呢,至少预留10%物理内存给操作程序及其他进程。防止OOM Killer介入。示例在/opt/hbase/conf/hbase-env.sh设置:HBASE_REGIONSERVER_OPTS="-Xms32g -Xmx32g",保持Xms=Xmx避免动态扩容抖动。旧参数写法可参考HBASE_HEAPSIZE=24g。建议值为服务器总内存的1/3~1/².
G C 策略大于24G优先选用G1GC,小堆可用CMS/ParNew。开启MSLAB功能mmap.enabled=true,hbase.hregion.memstore.mslab.enabled=true,mmap.readahead.size KB合理设置,减少MemStore碎片化。降低Full GC频率.
H B a s e 配置参数精准配比策略
B l o c k C a c h e 读取场景占比50%-70%堆内。例如读多写少业务将heap约60%分配给BlockCache。提高热点数据命中率,减少磁盘随机读;开启布隆过滤器提高查询效率.
M e m S t o r e 写方法占比≤25%。mglobal.memstore.size,默认值约为25%。防止单个Region MemStore过大触发频繁flush。通过调整mblock.multiplier×mflush.size阈值控制RegionTooBusy触发时机.
W r i t e 方法说明:HFile Flush阈值超限后触发Compaction并释放MemStore空间,若flush跟不上写入速度需扩容或降低单个列族大小.
i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同,需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.i R o u t P a t h说明:R/W均依赖JVM内外协同。需配合Disable THP + 大页管理 + 足够文件句柄共同保证稳定运行.
D i b i s i n m m d f f f f f f f f f f f f . . . . . . . . . . . . . . .. .. .. .. .. .. ... ... ... ... ... ... ... ...
Dibian 上HBa se 实战调优要点:,通过硬件升级SSD/NVMe、多核CPU、高带宽网络结合操作程序关闭THP增大fd限制降低swappiness,再结合JVM合理定额16–32 GB并采用G1GC,最终精准分配BlockCache50–70%及MemStor≤25%并开启MSLAB,可可以解决写入阻塞异常GCC暂停及读取慢等主要痛点,使D eb ian集群在高并发下保持低延迟和高可用性。请根据实际业务负载持续监控GC日志Flush频率及缓存命中率动态微调至较好效果。