这是从事存储行业十年以来我写的第一篇博客,希望借此开始把自己这些年所积累的一些干货借这个平台做分享。
虽然NAS协议众多,但核心的就那个几个:NFS,SMB/CIFS, FTP/SFTP, 其中SMB以及NFS可谓重中之重,相互竞争,相互借鉴,你追我赶,使得网络文件系统世界精彩纷呈。 因此,我的系列博客就从SMB协议开始,为大家呈现一个深入(Deep Dive)系列,让这些让很多人望而却步的协议不再神秘。
这个系列可能对入门的读者不太友好,因为我不想把这个系列仅仅做成'另一个入门教程', 而是要让有志于深入掌握网络存储的朋友有所收获,并且能在实际工作中得到实际的帮助。所以稳重所出现的抓包,解包,I/O 工具的具体操作都不会有特别详细的步骤,都是建立在读者有一定网络基础和相关经验的基础上的。
系列的每一篇内容有较强的的独立性,可以看做对某个协议单独一个功能特性的研究,但并不排除其中有对其它功能特性的依赖,对此我尽量穿插一些注解以求最大程度平滑过渡。
内容安排的先后顺序可能比较随意,并未有循序渐进的特点,如果有机会可能会根据知识内容的难度做一次整理,这次的主题是Oppturnistic Lock, 简称Oplock, SMB协议中Oplock和Leasec概念之间的相互缠绕以及功能的类似性让人非常迷惑,这篇随笔的目的就是通过实际的抓包分析来解惑。
Oplock/Lease 目的
先说说Oplock的好处,简单一句话:利用客户端的缓存机制的来提高SMB协议的I/O性能,其实基本思想其实就是客户端缓存(client cache),操作方式近似于NFS4之后引入的代理模式(delegation), 有别于Delegation的是,Oplock不但缓存字节锁(Record Lock)而且可以缓存数据部分。这使得客户端在对于某个文件在独占模式下的I/O性能可以与操作本地文件操作媲美。
Oplock 与 Lease 区别
首先要强调一点OpLock与Lease的不同,最简单的理解方式,OpLock是在SMB2.02以前所实现的客户端缓存机制(Client Cache), 而Lease是从SMB2.1开始的客户端缓存的实现方式,注意,两者在同一版本的SMB协议中并不共存!换句话说,如果服务器协商好双方所支持的最高Dialect以后,只能使用其中一种(either OpLock or Lease)。但是,由于惯例,Lease在SMB2.1以后的版本中仍然被称作为OpLock, 只是此OpLock非彼OpLock.
在功能上,Lease的在OpLock的基础上,进一步提高了SMB2的性能,主要体现在对于文件句(File Handle)柄缓存的支持, 借此减少大量的网络包来回。SMB2.02及以前的Oplock并不支持文件句柄的缓存,所以即便是同一个客户端的不同应用对相同文件的操作也会触发客户端与服务器对于目标句柄操作的网络包,在Lease里,文件句柄背缓存后,这些职责就被移交到(offlaod)客户端自己处理,无需服务器参与,从而在网络不佳的环境里极大的提高了性能。
Oplock/Lease的类型
OpLock在SMB1的时候只有四种类型:
SMB2_OPLOCK_LEVEL_NONE 0x00 | 无锁,不会触发客户端的缓存机制 |
SMB2_OPLOCK_LEVEL_II 0x01 | 读锁,在只读模式下会预读(read-ahead)数据缓存至客户端 |
SMB2_OPLOCK_LEVEL_EXCLUSIVE 0x08 | 独占锁,也就是读/写锁,读时可以预读数据到客户端,写时可以将数据以回写方式(write-back)先写道客户端缓存. 性能最好 |
SMB2_OPLOCK_LEVEL_BATCH 0x09 | Batch 锁,一种针对于office类型文件的优化锁,针对于同一文件的多次打开和关闭而设计一种性能优机制 |
从SMB2.1开始(Windows7,Windows2008R2),一种新的客户端缓存机制"租约(Leasing)"被引入进来, 进一步的提高了读写性能和减少了网络包的数量。由于其功能和机制类似于OpLock,所以租约在很多场合大家约定俗成仍然成为OpLock, 准确的说: OpLock在SMB2.02以前就是OpLock, 在SMB2.1及以后的版本OpLock其实就是指的Lease.
SMB2_OPLOCK_LEVEL_LEASE 0xFF | 租约(Leasing),一种在SMB2.1引入的全新客户端缓存机制,能够完全取代Oplock所以之前的功能,成为目前在SMB协议中默认且主流的一直缓存机制(Windows7以后的客户端默认模式) |
[此网络包出于SMB2.11(SMB3)当中]
Read Caching | 等同于OpLock的 SMB2_OPLOCK_LEVEL_II 锁 |
Write Caching | 等同于OpLock的 SMB2_OPLOCK_LEVEL_EXCLUSIVE锁 |
Handle Caching | 这个是Lease独有的文件句柄缓存功能,有了它在同一个客户端的不同应用程序在打开同一个文件时,可以直接在客户端进行管理,无需server端参与从而极大的减少了网络包的数量。 |
- 客户端A只读方式打开SMB共享目录下的文件demo.txt
- 客户端B以只读方式打SMB共享目录下的文件demo.txt
(抓包) tcpdump -i eth2 -s 1024 -w /tmp/ro_open_server.cap
(解包) tcpdump -t ud -O smb2 -Y "ip.addr==<server_ip>" -r /tmp/ro_open_server.cap