近日，PMC公司资深数据中心架构师张冬在中国存储峰会上做到了关于IO协议栈前沿技术和动态的技术共享，以下是演说的精华内容。 IO协议栈的概念 IO协议栈是操作系统里的一系列软件模块，让你的应用于要读盘的时候，比如读书一个U盘，U盘挂上以后，点一个复制粘贴，复制粘贴是一个程序，并不是某个菜单，你点的这个菜单，唤起了这么一个进程，后面起了一个进程，比如Linux下的做到运维的都告诉有一个dd的程序，这个程序不会调用系统获取的一些代码。当然再行得关上，然后做到一个打算工作，然后才读取。
这些代码都是OS获取的，你只必须调用就可以了。这些代码不会被同构到用户空间里面。
你把IO下发给这些代码以后，你把这些参数传授给他，要读取哪个文件，哪个路径，哪个设备，怎么度，怎么写出？把所有的参数告诉他它。 它下一步构建一个操作者叫陷于内核，中断到内核里面，这一步操作者开始十分大，因为牵涉到权限的切换，支出是相当大的。转入内核以后，再行到一个VFS的层，这是一大块的代码，这个层就是目录层，比如C：/，Linux下/某个字母，再写一些字母。谁来确保目录和底层的存储的实体的同构关系呢？由VFS层确保，你采访的是一个网络盘的路径，还是一个本地盘的路径，是一个文件，串口，终端，只不过都是符号，由VFS把IO下发给底下对应的支撑者，底下所画了四个支撑者。
还有横跨设备的各种设备，还有网络的系统，还有内存里面的数据结构，比如/PROC，有一些运维的时候用的一些命令，把它从零改为一，启动时了某一个逻辑，这都是内存里面的数据结构，也在这个合乎上限。 这层往北下，如果采访块设备，必要进到块层，块层是最后对存储设备的集中于采访点，在这个层里面，有一些可选功能，比如多路径，加密这种分层，内存，很多的开源的这些产品，只不过都是基本上在块层这个功能上面做到二次开发做到出来的。
块层下面就是一个IO的队列，在这儿做到一下IO的优化，拆分，存盘这些事情。在这儿不会有一个瓶颈，就是IO这个里头的队列是一个瓶颈，上层把IO往这个队列里面敲，下层大大把IO偷走。俗话说的SCSI协议栈，还包括三层，一个是上层的协议驱动，指磁盘驱动，磁带驱动，如果有其他的设备，比如打印机之类的，SCSI打印机和扫描仪也有，很早以前的时候，这块就是驱动设备了。
SCSIMiddle层就是管SCSI指令，印发下来都是在内存里的数据结构，每个OS都不一样，但是如果零担磁盘，零担外面的交换机，必需把它盖住标准化的，因为外面有很多厂商做到硬件，你不标准，就不了做到了这个硬件，你无法说道为每个OS都做到一个硬件。这层除了翻译成SCSI指令，这边有SCSI语义，还有管确实的SCSI的处置，比如超时了怎么办这些事情，这是中间层。 底下这层是HBA层，首先要有驱动，在HBA下有设备找到的这么一层库，因为传统的SCSI几十年前，那时候只有SCSI这么一种物理硬件，大家有可能有人见过，很粗很笨的线缆，后来经常出现了FC，SAS这些，更加较慢的、高效的物理链路类型。
SCSI协议，如果想要跑完在这些物理链路上，就必须有这么一块代码，这个网络里面，把你对端的SCSI设备找到上来，如果后末端改为SAS，这块代码就不会往SAS网络上收到一些广播的消息，将设备观测到，然后才分解设备符号。 往北下就是硬件，出有了协议就是硬件，硬件得接上HBA上，SCSI卡、SAS卡、以太网卡、各种卡，通过这个卡，再行通过网络，或者连交换机，或者直连，连到最后的设备上。所以，这儿所画的一些箭头所指的是什么呢？每一种硬件，每一个角色都有各自的驱动。
最底层的设备，它的驱动在最上面，往北上一层，HBA驱动在这个地方，然后HBA上还有一个PCIE控制器，它是从里向外蔓延的一个东西。但是，IO要再行发给最上面的驱动，再行冲着最底下的设备来，驱动就是指上往下这么收到去。这是传统的协议栈。
红色的这块，就是所谓NVMe的协议栈。NVMe跟PCIe有什么区别呢？NVMe它是一个协议栈，是一个协议。
跟说出一样，中文就看起来SCSI，十分博大精深，有语法，还有成语，十分厚实。NVMe相等于英文，非常简单必要26个字母。
但是，我们都是用嗓子来说出，都是用空气来传播，振动来传播，就是这个道理。SCSI也可以跑完在PCIe上，就像SCSI跑完在FC上一样，同理NVMe也可以跑到以太网上，也可以跑到FC上，怎么over都行，over在串口上都行，只要不嫌慢。
NVMe的协议栈十分轻量级，像英文一样，传达非常简单，所以它的速度较为慢。 传统IO协议栈的问题 我们想到这个传统协议栈究竟出有了什么问题？为什么这么多人在尝试改动它？主要问题就在于存储器。它没有经常出现之前，没任何问题，它一经常出现，仅有是问题。
我们看究竟有哪些问题？ 第一个问题是太长。大家可以看见，前面谈的所有这一堆东西，只不过整个就是IO协议栈。当然，SCSI协议栈是泛式的，一般指下面这块，但是上面这块也应当算数。
它经历了多少个块？十分多的模块，你每经历一个模块，你这个代码就要在CPU内存之间互相交换、继续执行一会儿，还牵涉到往返转换。当然，你拿人的标准来辨别，CPU继续执行的这一条IO有可能酬劳没法多长时间，比如微秒、毫秒级。但是，对于SSD，SSD号召十分慢，如果上面太快，性能就充分发挥不出来。
我们经常说道NVMeSSD性能很高，你是把它放在机箱里面性能很高，但是假设把一块NVMeSSD放在海南去，从北京放一个IO协议到海南，然后它回到，它认同会慢了。也就是这个IO收到来，到磁盘被接到之间，经历的路径就越宽，这个时延就越大，经历的模块就越多，每个模块处置的事情就越多，时延越大。
那就是说NVMe离近了，它就不悦了。就因为这个时延太高。 第二个问题是太重。所谓太重，每一层都有自己的处置逻辑，比如进到VFS，要侦一下这个目录究竟对应的谁？搜fstab表格，要是采访文件系统，还获得文件系统把元数据读出来，也就是读书元数据的时候，文件系统就不会往磁盘上发IO，读书上元数据，寻找处置你这个IO适当的信息，然后IO才能进到盘，相等于一个IO启动时了N个IO，有可能极快，很轻。
Block层有很多协议要处置，SCSI协议栈更加薄了，因为SCSI传统的东西，发展到现在几十年了，里面什么东西都往里加，各种库，各种长短都往里塞，里斯的整个协议栈很轻。往北下就是黑盒，到外面的设备怎么构建，你也不告诉，有可能就是一块盘，也有可能是被别人虚拟世界出来的盘，也有可能是分布式的，像刚才谈的那种，也有可能是集中式的，你也不告诉。
但是，你可以猜中到什么？下面的存储设备，只不过它内部也是个OS，你的IO到他那儿，他也要经历这层，最后才进到确实的物理盘，有可能经历N轮，IO才能下去，所以传统协议栈又宽又轻。 第三个问题是过于较宽。所谓过于较宽，就是Block层的队列只有一个。
这个队列就是IO大大的往里填，你有多个应用于采访底下的设备，多个应用于都是多盒CPU，每个CPU运营一个线程，每运营一个线程都往印发IO，如果正好四个线程都往里放IO，相等于一个单车道，两辆车同时往里塞，就不会经常出现爆胎，IO也是一样道理。谁要往这里面放IO，要改版写出指针，线程必须将原本的值读取，变更，再行写回去，如果线程1读取，线程2也读取，那么这两个线程最后就不会有一个IO被毁掉以及错乱。另外。如果这个变量是双字节，或者四字节，你写出一个字节，我写出一个字节，最后写乱了，就瓦解了，乱套了。
所以，如果要往里放入IO，必需把这个队列锁，又把这个变量锁，再行加锁，加锁别人就无法采访了，然后你再行往里写出。这样顶上看起来是分段的，到这儿就逆串行了，又必须加锁，所以支出就十分大了，最后造成性能较为劣。当然，对于机械硬盘，都不是问题，因为机械硬盘太快了，这点支出对它来讲，显然就远比支出。
第四个问题是太浅。这个队列不但就一个队列，还较宽，而且还深，里面容纳没法多少IO，SATA仅次于32，SAS盘仅次于256，上去还有HBA卡的队列，驱动里面的队列，Block里的队列，这些队列都是照着这个盘设计的，比如256个盘，25632，仅次于照着那个来，但是实际比这个还要较少。浅会导致什么问题？如果底下极快，深没问题，因为一时半会儿消耗不完了这也IO。但是，如果迅速，不会找到一会儿这个队列就机了，一会儿IO还没下来，又机了，整个这个跟驾车一样，油给不上，就是这个道理，太浅了。
本文关键词：od·体育(中国)官方网站,OD·体育网页版登录入口,od体育官网进入,od体育平台入口,od体育手机网页版登录
本文来源：od·体育(中国)官方网站-www.lovestore8.com
