RAC私网使用巨型帧 Solaris虚拟化环境修改MTU

背景介绍：

需求： 部署3节点oracle RAC时，要求4网口中，公网网口使用2个并用 ipmp 绑定，私网网口使用 HAIP 并支持巨型帧 (Jumbo Frame)
主机： 3节点主机均为 SUN T3 Server 中 ldom 中的zones。简单介绍两个概念：zone虚拟化技术中宿主机叫 global zone，ldom虚拟化技术中宿主机叫 primary。本例中RAC节点是SUN T3 server 中 Ldom 的一个zone，即虚拟机中的虚拟机，
版本： Solaris 11， Oracle RAC 11gr2
关键字： solaris11, Jumbo frame, MTU zones, ldom

修改MTU=9000 即支持Jumbo Frame的步骤：

在Solaris 11 非虚拟环境中，如果修改系统MTU值，主要步骤：

1. 查看当前MTU取值范围，当前为60-9216证明系统已经支持Jumbo Frame。如果发现范围的上限为1500，可以继续步骤2修改

点击(此处)折叠或打开

root@deepalley:~# dladm show-linkprop -p mtu
LINK PROPERTY PERM VALUE EFFECTIVE DEFAULT POSSIBLE
net1 mtu rw 1500 1500 1500 60-9216
net3 mtu rw 1500 1500 1500 60-9216
net0 mtu rw 1500 1500 1500 60-9216
net2 mtu rw 1500 1500 1500 60-9216
root@deepalley:~# dladm set-linkprop -t -p mtu=9000 net2
root@deepalley:~# dladm show-linkprop -p mtu
LINK PROPERTY PERM VALUE EFFECTIVE DEFAULT POSSIBLE
net1 mtu rw 1500 1500 1500 60-9216
net3 mtu rw 1500 1500 1500 60-9216
net0 mtu rw 1500 1500 1500 60-9216
net2 mtu rw 9000 9000 1500 60-9216

2. 确定网卡类型：

点击(此处)折叠或打开

root@deepalley:~# dladm show-phys
LINK MEDIA STATE SPEED DUPLEX DEVICE
net1 Ethernet unknown 1000 full igb1
net3 Ethernet unknown 1000 full igb3
net0 Ethernet up 1000 full igb0
net2 Ethernet unknown 1000 full igb2

3. 查看/修改驱动配置信息:
vi /kernel/drv/igb.conf 修改 default_mtu （本例中网卡类型为igb，所以用igb.conf，如果为其它类型，请在同目录下寻找对应配置文件），这个配置文件中也有为具体某个网口设置属性的选项，描述很详细，这里不详细展开，我们直接修改default_mtu 项

点击(此处)折叠或打开

...
# -------------------- Jumbo Frame --------------------
# default_mtu
# The size of the default MTU (payload without the ethernet header)
# Allowed values: 1500 - 9216
# Default value: 1500
#
# default_mtu = 9216; 修改此项
...
...

4. 重启系统，使用 dladm set-linkprop -t -p mtu=9000 igb[n] 修改生效

思路是如果想让虚拟机支持巨型帧，那么宿主机必须支持该特性。按照上述步骤直接在虚拟机中修改会报错：

点击(此处)折叠或打开

root@deepalley:~# dladm set-linkprop -t -p mtu=9000 net2
dladm: warning: cannot set link property 'mtu' on 'net2': link busy

我们从顶层的宿主机一层一层向下修改：

终极宿主机层： Primary
1. 如果dladm show-linkprop -p mtu 显示 Jumbo Frame未开启，按照上面非虚拟化修改方法步骤1修改：
2. 修改它的虚拟机的网卡配置信息 ldm 命令：

这个Primary有三个guest，ld1是我们AC节点1的宿主机

点击(此处)折叠或打开

root@Primary:~# ldm list
NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME
primary active -n-cv- UART 200 23G 0.1% 0.1% 4d 2h 11m
ld1 active -n---- 5001 18 32G 0.2% 0.1% 1h 19m
ld2 active -n---- 5002 28 56G 1.9% 1.5% 3d 6h 51m
ld3 active -n---- 5003 10 16G 7.4% 5.7% 7h 31m

3. 查看网口信息

点击(此处)折叠或打开

root@Primary:~# ldm list -o physio ld1
NAME
ld1
IO
DEVICE PSEUDONYM OPTIONS
pci@500/pci@1/pci@0/pci@5/network@0,80 /SYS/MB/NET2/IOVNET.PF0.VF0
pci@500/pci@1/pci@0/pci@5/network@0,81 /SYS/MB/NET2/IOVNET.PF1.VF0
pci@400/pci@1/pci@0/pci@4/network@0,80 /SYS/MB/NET0/IOVNET.PF0.VF0
pci@400/pci@1/pci@0/pci@4/network@0,81 /SYS/MB/NET0/IOVNET.PF1.VF0

4. 设置网口mtu值

点击(此处)折叠或打开

root@Primary:~# ldm set-io mtu=9216 /SYS/MB/NET2/IOVNET.PF0.VF0
root@Primary:~# ldm set-io mtu=9216 /SYS/MB/NET2/IOVNET.PF1.VF0

（NOTE：这个网口是怎么对应呢，如何知道/SYS/MB/NET2/IOVNET.PF0.VF0 和 /SYS/MB/NET2/IOVNET.PF1.VF0 就是我们想要修改的两个私网网口呢，这个信息是通过 /etc/path_to_inst 文件得来的，可以通过 cat /etc/path_to_inst | grep igb 得到上面命令的DEVICE信息，然后就对应上了。）

5. 最后重启这个ldom guest，当然最底层的我们的rac节点也跟着重启

点击(此处)折叠或打开

root@Primary:~# ldm stop ld1
root@Primary:~# ldm start ld1

在最终节点上查看结果：

点击(此处)折叠或打开

root@zone1:~# dladm show-linkprop -p mtu
LINK PROPERTY PERM VALUE EFFECTIVE DEFAULT POSSIBLE
z1net0 mtu rw 1500 1500 1500 60-1500
z1net1 mtu rw 1500 1500 1500 60-1500
z1net2 mtu rw 9000 9000 1500 60-9000
z1net3 mtu rw 9000 9000 1500 60-9000

搞定！

deepalley