hugepage的优势与使用

+2投票
 

优势

通过使用hugepage分配可以提高性能,因为需要更少的页,因此需要更少Translation Lookaside Buffers (TLB,高速传送缓存),使用TLB可以减少将虚拟页地址转换成物理页地址的时间。

如果没有hugepage,使用标准4K页大小的话,可能产生大量TLB miss,影响性能。

使用

hugepage的分配应该在启动时完成,或者在系统启动之后尽可能在将内存分片成物理内存之前。

要在启动时保留hugepage内存,需要在内核启动的命令行添加一条命令。

对于2MB的页,只需要将选项hugepages传递给内核。例如,要保留1024个2MB的页,可用以下命令:

hugepages=1024

对于其它大小的hugepage尺寸,如1G的页,需要明确指定该尺寸,或者将该尺寸指定为默认hugepage的大小。

例如,要保留4个1G大小的页,需要用以下命令:

default_hugepagesz=1G hugepagesz=1G hugepages=4

注意:

(1)CPU支持的hugepage大小可以通过CPU的flags得知:

如果pse存在,则支持2M的hugepage。

如果pdpe1gb,则支持1G的hugepage。

(2)对于64位系统,如果平台支持,建议使用1GB大小的hugepage。

对于包含两个CPU槽位的NUMA系统,启动时保留的hugepage数会平均分配给两个槽。

(假设两个槽位均有足够内存)

另外,对于2MB大小的页,还有一个方法可以在系统启动之后分配hugepages。

对于单节点的系统(以分配1024个页为例):

$ echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

对于NUMA系统,可以对每个节点分配配置

$ echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

$ echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

但是对于1G的页,无法在系统启动之后再分配保留的hugepage内存,需要按上文所述方法在启动项后指定。

结合DPDK使用hugepages

hugepage内存分配好后,要使其对DPDK可用,需要执行以下操作:

# mkdir /mnt/huge

# mount -t hugetlbfs nodev /mnt/huge

也可以在/etc/fstab文件中添加以下命令,使其重启后有效:

nodev /mnt/huge hugetlbfs defaults 0 0

对于1G的页,页大小必须作为mount选项指定:

nodev /mnt/huge_1GB hugetlbfs pagesize=1GB 0 0

 
05-11 13:48