平台首页docker的跨主机解决方案weave----遇到的坑

2019-11-18 作者:网络时代   |   浏览(153)

docker的跨主机解决方案weave----遇到的坑(1)

在weave的1.2版本之后,考虑到原先sleeve模式的网络性能很差,增加了fastdp的模式,该模式是weave启动时默认模式,在fastdp模式中使用了kernel中的openvswitch.ko模块,在做报文封装时使用内核中的vxlan。最近遇到一个问题,在使用qemu-kvm虚拟的云主机上,如果安装的是centos7.0,并且内核版本为kernel-3.10.123,会造成virtio_net虚拟网卡无法发送数据包,导致整个虚拟机的网络中断的问题。
造成网络断开的原因是因为触发了内核的一个bug,内核bug的链接地址为:https://git.kernel.org/cgit/linux/kernel/git/stable/linux-stable.git/commit/?id=8a0cafc9a8131cc545dc9924aed38f7176ee4ad7

diff --git a/net/ipv4/ip_output.c b/net/ipv4/ip_output.c
 index dd637fc..05686c4 100644
--- a/net/ipv4/ip_output.c
+++ b/net/ipv4/ip_output.c
@@ -843,7 +843,8 @@ static int __ip_append_data(struct sock *sk,
cork->length += length;
if (((length > mtu) || (skb && skb_is_gso(skb))) &&
 (sk->sk_protocol == IPPROTO_UDP) &&
- (rt->dst.dev->features & NETIF_F_UFO) && !rt->dst.header_len) {
+ (rt->dst.dev->features & NETIF_F_UFO) && !rt->dst.header_len &&
+ (sk->sk_type == SOCK_DGRAM)) {
err = ip_ufo_append_data(sk, queue, getfrag, from, length,
 hh_len, fragheaderlen, transhdrlen,
 maxfraglen, flags);
diff --git a/net/ipv6/ip6_output.c b/net/ipv6/ip6_output.c
index 12f7ef0..d7907ec 100644
--- a/net/ipv6/ip6_output.c
+++ b/net/ipv6/ip6_output.c
@@ -1294,7 +1294,8 @@ emsgsize:
if (((length > mtu) ||
 (skb && skb_is_gso(skb))) &&
 (sk->sk_protocol == IPPROTO_UDP) &&
- (rt->dst.dev->features & NETIF_F_UFO)) {
+ (rt->dst.dev->features & NETIF_F_UFO) &&
+ (sk->sk_type == SOCK_DGRAM)) {
err = ip6_ufo_append_data(sk, getfrag, from, length,
  hh_len, fragheaderlen,
  transhdrlen, mtu, flags, rt); 

有两种方式可以解决该问题:1)升级大于等于3.13的内核 2)关闭虚拟机网卡的ufo特性
Weave会发送一个60000字节的UDP数据包进行PMTU的探测,而且Weave发送使用的是raw socket,因此触发了内核bug,导致了virtio_net使用的内存被污染,表现的现象就是无法通知到宿主机上vhost取数据,在接口上看到发送报文的计数始终不会增加。该问题不是只有weave才能触发,使用普通的应用程序只要在建立socket时,使用是raw socket,并且在发送数据时,发送的数据大于接口的MTU值,接口的UFO功能是打开的,都极有可能触发该问题。
centos7.1的kernel-3.10.229内核已经修复了该问题。下图是WEAVE使用fastdp模式的数据流程图:
平台首页 1
底层virtio_net中的处理流程:
平台首页 2

http://www.bkjia.com/HTML5/1141742.htmlwww.bkjia.comtruehttp://www.bkjia.com/HTML5/1141742.htmlTechArticledocker的跨主机解决方案weave----遇到的坑(1) 在weave的1.2版本之后,考虑到原先sleeve模式的网络性能很差,增加了fastdp的模式,该模式是we...

本文由澳门新葡亰网址大全发布于网络时代,转载请注明出处:平台首页docker的跨主机解决方案weave----遇到的坑

关键词: