大案牍术破案纪实第三篇--我们是如何破解Splice性能下降甚至低于Direct之谜的

[badO1a5A90]

案发及破案过程

splice上线以后,陆陆续续有一些用户反映"splice模式为什么比direct还慢",但也有用户觉得"没有这个问题啊"
这个谜案一直未解.

反复测试后终于偶然复现了这个现象.
在测试透明代理的测试环境里,偶然发现了splice模式居然真的比direct还慢!

首先怀疑是硬件问题,使用同样硬件copy同样程序版本和配置,测速正常.
于是快照出问题的vps,重装系统,测速正常.
恢复快照,测速也正常!(震惊.jpg)
(其实此时相当于已重启了机器)

(测试vps这几天主要是用来测试各种透明代理模式的,做过增加iptables规则的改动,但已清除.)
于是增加同样iptables,测速依旧正常.

百思不得其解(我到底做了什么导致这个)之后....开始翻看历史命令(我tm到底做了什么)....
逐条翻看验证.....
我tm直接哭了.jpg

发现有一句 曾经执行过 sysctl -w net.ipv6.conf.all.forwarding=1 相当可疑(重启后则失效)
遂执行并测速,发现果然是元凶!

结案陈词

至此迷案基本告破,再经过若干回合,深入破解后,结论如下

• 实际测试验证,无论ipv4还是ipv6的转发只要开启一项,速度都会被拉垮,且splice可能下降更低
  • 测试环境中,splice降低到约比direct略低一点,(2600降低到850,此时direct900)
  • 测试环境中,direct也降低性能(1300降低至900)
  • 并不能确定是否所有环境下splice是否都会降低至比direct更低.
• 所谓开启转发是指
  • 在内核中设置 net.ipv6.conf.all.forwarding=1 或者 net.ipv4.ip_forward=1
  • 实际测试验证,只要你在内核配置中配置了其中任何一项,不管你用IPv4还是IPv6,速度都会拉垮
  • 意思是指,即使你开启net.ipv6.conf.all.forwarding=1,而实际使用的是IPv4,速度也会拉垮
• 实际测试验证,如果只是做透明代理这两行设置均不需要
  • 白话文中无论redirect还是tproxy都写了需要开启,这并不准确,实际为两种模式的透明代理均不需要开启
  • 实际测试如果只是透明代理,无论redirect还是tproxy都不需要开启即可代理其他设备上网
  • 开启则拉垮速度
• 建议如无需要请删除或注释掉此设置, 以保证发挥splice及其他模式均发挥最大性能(在/etc/sysctl.conf中)

更多的研究:
受影响的用户只存在于软路由,因为硬路由都有HARDWARE NAT.

关于HARDWARE NAT的相关测试证明,HARDWARE NAT把NAT交给了独立硬件,大大减少了抢占CPU,因此硬路由上,NAT不会对Xray性能造成影响.

至此可以得出结论:
开启了此设置的软路由用户中有一部分觉得"splice模式比direct还慢",而没有开启此设置的软路由用户觉得正常.

关于这个设置的转发是什么作用,何时需要何时不需要,请见ip_forward与路由转发

• 简单的说,就是你本机有两块网卡,并且需要从A网卡转发到B网卡时需要开启.
• 所以只是做透明代理的话,可以不需要开启.

建议解决方案

1. 如无必须需要设置此参数

• 请删除或注释掉此设置,或者设置为=0(通常在/etc/sysctl.conf中设置)
• 以保证splice及其他各种协议组合模式均发挥最大性能

2. 如必须要设置此参数(如在主路由上),那么同设备上的xray的流控模式建议为

• 硬路由使用splice
• 软路由在不能进行确定的性能测试的情况下仍建议直接使用splice即可.
• 可用splice模式和direct模式在同一时段进行对比,如确认性能两者有较大差距(测试网速和观察CPU占用),选择较快/负载较低的.

额外补充测试

1. 补充测试了 /proc/sys/fs/pipe-max-size 的值,设置为1M和4K的对比测试下没有发现明显差异.

特别致谢

感谢文学大湿 瓜瓜 给我起的标题
& 所有提供测试反馈的TG群友们

[SekiBetu]

看了下，官方版纯净的debian系统默认都是0

[badO1a5A90]

看了下，官方版纯净的debian系统默认都是0

大多数路由器应该都会开启IPv4的.

[floatingrain]

很棒，很有耐心👍

[zccold]

什么场景下路由器会不需要转发呢，旁路由？

[badO1a5A90]

什么场景下路由器会不需要转发呢，旁路由？

对.

[badO1a5A90]

后续1:
补充测试了 /proc/sys/fs/pipe-max-size 的值
1M和4K的对比测试下没有发现明显差异.

[badO1a5A90]

目前的结论:
1.如无必须需要设置此参数

• 请删除或注释掉此设置,或者设置为=0(通常在/etc/sysctl.conf中设置)
• 以保证splice及其他各种协议组合模式均发挥最大性能

2.如必须要设置此参数(如在主路由上),那么同设备上的xray的流控模式建议为

• 不能进行确定的性能测试的情况下仍建议直接使用splice即可.
• 可用splice模式和direct模式在同一时段进行对比,如确认性能两者有较大差距(测试网速和观察CPU占用),选择较快/负载较低的.

[aptx17]

是不是简单说单网口的建议关闭转发。
而主路由多网口的wan口拨号 lan口交换机或AP，还是要开启的。
多网口有人反馈到下降吗？

[badO1a5A90]

是不是简单说单网口的建议关闭转发。
而主路由多网口的wan口拨号 lan口交换机或AP，还是要开启的。
多网口有人反馈到下降吗？

目前看来有反馈的都是软路由,硬路由可能因为转发有硬件优化的缘故并不受影响.
也有群友反馈说,软路由的nat性能似乎一贯不佳(所以开启后整体造成了性能下降)
单网口确实可以直接关闭.
主路由一般必须开启才能正常使用.

[testcaoy7]

如果要运行VPN服务器，那么转发也是必须开启的

[xiaoyaoyuxin]

今天刚开始尝试新魔法，晚上在软路由上调试，换了splice之后感觉确实不如Direct快，还以为是网络波动。恰好看到这个帖子，破案了。

我的OWRT，配置写在/etc/sysctl.d/10-default.conf里，ipv4和v6都是1

[sxml2015]

openwrt /etc/sysctl.d/10-default.conf ipv4和v6都是1 是不是 软路由无缘了？升级splice后 差太多了

[xiaoyaoyuxin]

我把主路由的两个值改为0，重启后不影响上网。
我主路由两个网口，Lan口接无线AP，所有设备都接入无线AP上网。

不过因为网络波动比较大，未测出实际变化。

[lflcan]

在我的单网卡 openwrt 旁路由上如果加上下面两条指令，旁路由下的设备无法访问网络，旁路由自身可以正常联网；去掉后则恢复正常。枯了😭

net.ipv4.ip_forward=0
net.ipv6.conf.all.forwarding=0

[RPRX]

实际上在 OpenWrt 上支持硬件 NAT 的无非不过是少数，大部分均不支持

是的，我看 lede 仓库默认是 1，不过若不需要内核级 NAT 转换，只是透明代理就没有必要开 NAT 转发（或许出一个仅透明代理的模式？）现在发现的情况是在不支持硬件 NAT 的设备上开 NAT 转发会严重影响处理数据包及各个代理软件的性能，而且有的设备上 Splice 比 Direct 下降更严重，暂不清楚原因。

[xiaoyaoyuxin]

实际上在 OpenWrt 上支持硬件 NAT 的无非不过是少数，大部分均不支持

是的，我看 lede 仓库默认是 1，不过若不需要内核级 NAT 转换，只是透明代理就没有必要开 NAT 转发（或许出一个仅透明代理的模式？）现在发现的情况是在不支持硬件 NAT 的设备上开 NAT 转发会严重影响处理数据包及各个代理软件的性能，而且有的设备上 Splice 比 Direct 下降更严重，暂不清楚原因。

请问大佬，仅透明代理，是要从openwrt系统层面配，还是在代理软件（如passwall）层面配?

[RPRX]

@xiaoyaoyuxin 我不太熟悉 OpenWrt，你可以试试普通 Linux + iptables tproxy + Xray-core 任意门（即使存在多个网段也没有问题）

[xiaoyaoyuxin]

@xiaoyaoyuxin 我不太熟悉 OpenWrt，你可以试试普通 Linux + iptables tproxy + Xray-core 任意门（即使存在多个网段也没有问题）

多谢大佬指点，找资料学习看看。谢谢！

[AAPING]

实际上在 OpenWrt 上支持硬件 NAT 的无非不过是少数，大部分均不支持

是的，我看 lede 仓库默认是 1，不过若不需要内核级 NAT 转换，只是透明代理就没有必要开 NAT 转发（或许出一个仅透明代理的模式？）现在发现的情况是在不支持硬件 NAT 的设备上开 NAT 转发会严重影响处理数据包及各个代理软件的性能，而且有的设备上 Splice 比 Direct 下降更严重，暂不清楚原因。

抱歉挖坟，我只是想提供一个数据参考点（捂脸）。我在 MT7621 芯片的硬路由设备（刷真.官方原装 OPWRT 21.02.1 版本 ROM）安装 xray-core (v1.5.2) , 同样是开启 IP_forward, 在 这台OP设备作为旁路网关的情况下，裸VMESS协议 30 Mbps down，27 Mbps up。 而这台设备作为主路由 （即 LAN 接下级设备， WAN 接上级网络的配置下）的下行30 不变，而上行掉到了可怜的 2 Mbps （一夜回到电话线上网时代。。。） 所以我猜测：

1. 上行过程中 AES 加密 与 IP转发 抢 CPU， 于是这颗既没有AES硬件加速也没有硬件NAT （因为被OPWRT给禁止了）的CPU就成了瓶颈中的瓶颈。（不过有趣的是，上行的时候 htop 显示cpu的使用率很低（作为对比，下行的时候 CPU总是100%），但是我依然怀疑可能是某种机制导致了CPU吃不满的同时又有两个CPU-hungry 的进程同时运行）
2. 哪怕是开了 ip_forward = 1, 但是同端口进出（对应于这台设备做旁路网关，LAN口连接上级路由的LAN口的情况）的配置下，IP转发的kernel overhead 应该会比较小，所以旁路网关的情况下上下行的速率比较接近。

[wawnnzxd]

Hi，请教一下大佬，
关闭ipv4转发和v6转发，只是在客户端进行对吗
xray的服务器，不需要关闭这个，是吗亲

[badO1a5A90]

Hi，请教一下大佬，
关闭ipv4转发和v6转发，只是在客户端进行对吗
xray的服务器，不需要关闭这个，是吗亲

客户端的.

而且服务器一般更不需要这个, 默认的系统设置应该都是关闭的.

[Fyred]

软路由下Splice没卵用的话，那50%的用户要告别Splice了

[RPRX]

大胆点 不过这类环境下并不是 Splice 都比 Direct 低，之前看到树莓派 4B 上装 OpenWrt 的结果是 Splice 略高一些

目前的猜测是由于 Splice 是交给系统内核处理，如果开了 NAT 转发，每个包就会有些多余的查找映射和判断等，没有硬件 NAT 就会拉垮

如果追求极限性能，则需要改变中间设备的配置方式，即仅透明代理，看看有没有人做方便的一键工具

[RPRX]

另外，Android 应该不存在这个问题，因为大多数情况下不会开 NAT 转发

[dotNetDR]

怎么查询自己硬件上是否支持硬NAT?

[BurningC4]

如果使用iptables分流的话还是需要内核转发的，比如我直接用iptables+geoip进行转发

[chancat87]

这个问题修复了已经，大雕回答了

[cyfdecyf]

看 CloudFlare 这篇博文时看到作者也遇到过 splice 性能不好的问题，想到了 xray 这里还有个很有意思的 issue。

搜了下开启 IP forwarding 会导致 Large Receive Offload (LRO) 无法使用，从 RedHat 文档 来看只有 LRO 会受影响，所以或许性能问题与此相关？

A problem with LRO is that it tends to resegment all incoming packets, often ignoring differences in headers and other information which can cause errors. It is generally not possible to use LRO when IP forwarding is enabled. LRO in combination with IP forwarding can lead to checksum errors. Forwarding is enabled if /proc/sys/net/ipv4/ip_forward is set to 1.

一个判断是否与 LRO 有关的思路：在关闭 forwarding 的状态下，强制关闭网卡 LRO 然后测试性能，看是否有性能下降。

我手头目前没有方便做测试的环境，所以不好意思不能测试后给结论。

[usgate]

N1旁路由模式，关闭转发会导致国内无法上网，转发应该还是影响nat

[WordsWorthLess]

我用斐讯N1刷OPENWRT做,旁路由,xray设置成TPROXY方式,关闭了转发之后, 客户端不管国内还是国外, 都无法上网, 如果我使用直连国内模式的话(iptables + ipset实现),国内的网站不影响, 国外的域名就挂掉, 而N1自身无论用何种方式, 国内外都不受影响.
请问有办法解决吗?

[jaesony]

对网段可能还是需要的

[jaesony]

今天发现接入另一个网段的摄像头连不上群晖了，排查了好久，才发现是ip转发的问题。还是弄不清楚ip转发具体含义，透明代理里防火墙不是设置好私有ip地址return了吗？？？

[zane0113]

请教下大佬，根据您的实验结果，NAT表是空的，开ip转发影响性能吗？如果不开ip转发，那么透明代理下的局域网设备ping不通外网，这个怎么解决？

[zll9912]

想知道测试的时候内核版本是多少?
上面共识提到了Cloudflare也发现了Splice性能不佳的问题, 我点进去看了一下似乎是修复了链接
4.19 内核开始的几个关键补丁:
tcp: avoid extra wakeups for SO_RCVLOWAT users（03f45c883c）

tcp: fix delayed acks behavior for SO_RCVLOWAT（796f82eafc）

tcp: fix SO_RCVLOWAT and RCVBUF autotuning（d1361840f8）

我自己 A(iperf3客户端) - B(使用splice) - C(iperf3服务端)开启或关闭IP转发性能没有明显差异, CPU占用情况也是如此
楼主能不能在较新的内核上进行测试尝试复现一下?