Debian/Ubuntu内核开启Google BBR算法及吞吐性能优化
适用场景
鉴于默认的Linux内核参数设置比较保守，在高延迟/高丢包率的网络环境下性能表现并不理想。通过切换至Google BBR拥塞控制算法，加大缓冲区并优化连接保持来增强TCP/UDP数据包吞吐性能。
支持系统
Debian 9.x or Ubuntu 16.x（低于此版本的系统需要更换Linux内核至4.9+，推荐4.20，此版本内置的BBR编译已优化。）
不适用于OpenVZ虚拟化环境中安装的操作系统。
内核调整
配置文件位置：/etc/sysctl.d/local.conf或/etc/sysctl.conf（不推荐放在后者）
#切换至Google BBR拥塞控制算法 #如果内核版本高于4.15，可以考虑将default_qdisc改成fq_codel；高于5.10则可以考虑改成fq_pie。这两种流控模式可以获得更稳定的吞吐量，但在部分网络环境中会降低发包效率（如：在延迟波动较大的网络环境下，该模式反而会产生负面影响） #建议根据实际网络环境进行测试，以选择更合适的算法。如果不确定，则使用BBR默认推荐的fq。 net.core.default_qdisc = fq net.ipv4.tcp_congestion_control = bbr #增大打开文件数限制 fs.file-max = 51200 #增大所有类型数据包的缓冲区大小（通用设置，其中default值会被下方具体类型包的设置覆盖） #最大缓冲区大小为64M，初始大小64K。下同 #此大小适用于一般的使用场景。如果场景偏向于传输大数据包，则可以按倍数扩大该值，去匹配单个包大小 net.core.rmem_max = 67108864 net.core.wmem_max = 67108864 net.core.rmem_default = 65535 net.core.wmem_default = 65535 net.core.netdev_max_backlog = 65535 net.core.somaxconn = 4096 #增大TCP数据包的缓冲区大小，并优化连接保持 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 1200 net.ipv4.tcp_max_syn_backlog = 8192 net.ipv4.tcp_max_tw_buckets = 5000 net.ipv4.tcp_mem = 8192 131072 67108864 net.ipv4.tcp_rmem = 4096 65536 67108864 net.ipv4.tcp_wmem = 4096 65536 67108864 net.ipv4.tcp_mtu_probing = 1 net.ipv4.tcp_notsent_lowat = 16384 #增大UDP数据包的缓冲区大小 net.ipv4.udp_mem = 8192 131072 67108864 net.ipv4.udp_rmem_min = 4096 net.ipv4.udp_wmem_min = 4096
重启使配置生效：
$ sysctl --system $ reboot
检查BBR模式是否生效：
$ sysctl net.ipv4.tcp_available_congestion_control $ sysctl net.ipv4.tcp_congestion_control $ lsmod | grep bbr
确认有BBR模块显示即可。
检查内核拥堵算法：
#eth0根据实际网卡编号进行替换 $ tc qdisc show dev eth0 qdisc mq 0: root qdisc fq_codel 0: parent :1 limit 10240p flows 1024 quantum 1514 target 5.0ms interval 100.0ms memory_limit 32Mb ecn
特殊配置
1. net.ipv4.tcp_tw_recycle在4.12及以上版本的Linux内核中被移除。如果使用更低版本的内核，则需要禁用该特性：
net.ipv4.tcp_tw_recycle = 0
2. 在非NAT的网络环境中，可以启用TCP Fast Open，来减少重复连接的TCP握手次数。该特性需要服务端和客户端同时支持时方可生效。
net.ipv4.tcp_fastopen = 3
注：在部分NAT网络环境（例如4G数据网络）下启用可能导致连接失败或丢包。Ref: TCP Fastopen (TFO) doesn’t work reliably in China Mobile cellular network – Github
参考资料
- Google BBR拥塞算法说明：https://github.com/google/bbr/blob/master/Documentation/bbr-faq.md
- Optimizing HTTP/2 prioritization with BBR and tcp_notsent_lowat – Cloudflare
- Networking Performance Tuning Guides: https://www.cyberciti.biz/faq/linux-tcp-tuning | https://fasterdata.es.net/host-tuning/linux
- Can I use TCP BBR with Cake? https://forum.openwrt.org/t/can-i-use-tcp-bbr-with-cake/69771/3
- Can I use BBR with fq_codel? https://groups.google.com/g/bbr-dev/c/4jL4ropdOV8
最后更新：2022-05-15
— END —
Comments ( 2 )