原文链接:https://www.dazhuanlan.com/2019/12/31/5e0af1858dada/

最近开始调研网卡的OVS流表offload功能,所以目前查看一下OVS这块是怎么做的。

从上面可以看到OVS主要通过netlink发送给网口,接下来我们看一下网卡驱动做了一些什么,因为在做Mellanox家的网卡,所以这里查看代码就查看mlx5_core的驱动代码。

首先是开启offload,Mellanox有两种方案开启offload,设置方法不一样,但是实质是一致的,就是把eswitch_mode配置为switchdev,分别看一下:

第一种配置方法为devlink dev eswitch set pci/${PCI_ADDR} mode switchdev,这是中间一些版本的配置,它对应的代码路径如下:

eswitch_mode_set-->mlx5_devlink_eswitch_mode_set-->esw_offloads_start-->mlx5_eswitch_enable_sriov,我查看的代码没有看到地方调用。

第二种配置方法为echo switchdev > /sys/kernel/debug/mlx5/${PCI_ADDR}/compat/mode,这是后面普遍的一种配置方法,它对应的代码路径如下:

esw_compat_fops-->write-->esw_compat_write-->write_u16-->mlx5_devlink_eswitch_mode_set-->esw_offloads_start-->mlx5_eswitch_enable_sriov

  • mlx5_remove_dev_by_protocol首先从MLX5_INTERFACE_PROTOCOL_IB协议中移除设备
  • mlx5_add_dev_by_protocol将设备添加到协议MLX5_INTERFACE_PROTOCOL_IB中
  • esw_offloads_init初始化offload相关的一些表和repsentor端口
    • esw_create_offloads_fdb_tables创建FDB表
    • esw_create_offloads_table创建转发表
    • esw_create_vport_rx_group创建接收组
    • esw_offloads_load_reps加载repsentor端口
  • esw_create_tsarvport的QoS管理
  • esw_enable_vport使能vport

配置OVS支持offload

配置OVS的流表offload功能的命令如下:

1
ovs-vsctl set Open_vSwitch . Other_config:hw-offload=true

utilities/ovs-vsctl.c实现我们不看了。我们主要看一下vswitchd是做了什么操作。

vswitchd/ovs-vswitchd.c

main-->bridge_run-->netdev_set_flow_api_enabled-->netdev_tc_init_flow_api主要是设置去创建或者删除一条TC规则,如果是添加则类似/sbin/tc qdisc add dev <devname> handle ffff: ingress,如果是删除则类似/sbin/tc qdisc del dev <devname> handle ffff: ingress

OVS offload流表下发

OVS相关部分

当报文不匹配的时候,会将报文上报,会调用udpif_upcall_handler
udpif_upcall_handler-->recv_upcalls-->handle_upcalls-->dpif_operate-->dpif_netlink_operate-->try_send_to_netdev-->parse_flow_put-->netdev_flow_put-->netdev_tc_flow_put

  • 首先判定是不是tunnel,是的话需要存储五元组
  • 是vlan的话,记录vid和mask
  • 记录源目的MAC和掩码
  • 记录五元组及其掩码
  • 检测以上记录的信息是否有不支持的,还是有挺多不支持的,具体查看函数test_key_and_mask
  • 记录action,目前支持的是output,push_vlan,pop_vlan,set,set_mask
  • 调用tc_replace_flower将以上记录的信息进行转换,然后通过netlink发送给端口。

网卡驱动相关

前面ovs调用tc_replace_flower时候会触发kernel调用函数tc_ctl_tfilter,路径如下:

tc_ctl_tfilter-->fl_change-->fl_hw_replace_filter-->mlx5e_rep_ndo_setup_tc-->mlx5e_configure_flower-->mlx5e_tc_add_fdb_flow-->mlx5_eswitch_add_offloaded_rule

mlx5e_configure_flower

  • parse_cls_flower解析ovs传递过来的流表中match的key信息
  • parse_tc_fdb_actions解析ovs传递过来的流表中action信息
  • mlx5e_tc_add_fdb_flow主要是讲match和action添加到fdb流表
  • 后面先不看了,multipath的那些操作

mlx5e_tc_add_fdb_flow

  • 如果action包含encap,那么调用mlx5e_attach_encap生成vxlan所需要的报文头信息
  • mlx5_eswitch_add_vlan_action添加vlan的action
  • mlx5_eswitch_add_offloaded_rule添加offloaded规则

mlx5_eswitch_add_offloaded_rule-->mlx5_add_flow_rules-->_mlx5_add_flow_rules 主要是向firmware发送指令添加offload规则。

这块关联比较多,不太好看,以后遇到问题再去查看。

dump flows

一般是两种命令可以展示datapath的流表,他们的区别主要是能不能dump别的datapath,主要实现都是一致的,所以我们只看一个相关的代码,因为个人认为ovs-appctl命令更好一些,所以就看这个的代码。

1
2
ovs-dpctl dump-flows [type=offloaded/ovs]
ovs-appctl dpctl/dump-flows [type=offloaded/ovs]

命令相关的代码就不看了,因为ovs-appctl调用的命令都需要在ovs-vswitchd中通过函数unixctl_command_register进行注册。我们这里直接查看注册的dpctl相关的命令。

代码路径如下,文件起始于ovs-vswitchd.c

main-->bridge_run-->bridge_reconfigure-->bridge_add_ports-->bridge_add_ports__-->iface_create-->iface_do_create-->netdev_open-->construct-->dpif_create_and_open-->dpif_open-->do_open-->dp_initialize-->dpctl_unixctl_register-->dpctl_unixctl_handler-->dpctl_dump_flows

dpctl_dump_flows

  • 首先做参数检测,保证参数合理性
  • dpif_flow_dump_create-->dpif_netlink_flow_dump_create主要有两个事情,一个就是nl_dump_start,原来的dump ovs的流表,另一个就是dump offloaded流表,用的函数start_netdev_dump
  • 遍历所有满足类型条件的流表,并且根据filter进行过滤。
05-11 17:23