上篇说了双端口的一些概念和实现,这篇将进一步通过测试介绍NVMe SSD双端口特性的可靠性和性能的验证。(测试均使用双路超微服务器,每路有两个In te l(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz以及64GB内存,以及一个PLX 9797 PCIe Switch,每个Switch有20个端口,可同时挂载20个PBlaze5。)
双端口可靠性测试
链路冗余:
双端口NVMe SSD可以在链路断开或者端口失败的情况下提供冗余。如下图所示:
图1:链路冗余模式
Server可以看到2个NVMe设备,可以对2个NVMe设备进行读写等操作;
如果中断一条到NVMe设备的链接,另一个链接仍然可以保持连接并且存活,server可以正常访问NVMe设备。
双活模式:
双端口NVMe设备连接到不同的server A和server B,如下:
图2:双活模式
Server A与server B同时做正常关机、异常关机、nvme reset或者pcie reset,2个server 都可以正常操作并且彼此不受影响。Server A与server B彼此做不同操作,对于NVMe设备来说也是不受影响的,两个server也能做到互不干扰。
Server A与server B间隔一段时间分别做正常关机、异常关机、nvme reset或者pcie reset,2个server 均断电成功并且开机正常,互相不受影响,启动后也可以正常加载NVMe设备;
Server A跑IO workload,server B触发正常或者异常关机,server A不会受到影响,包括数据完整性和I/O吞吐量以及延迟等方面;反之亦然;
双端口模式下NVMe SSD的性能:
以双活的配置模式为例,在性能方面,主要展示2个server同时进行顺序写、顺序读,随机写,随机读,以及一个server 读,另一个 server 写等模式,并与单端口模式做对比。
主要特点如下:
两个端口同时IO,检查并对比带宽:
两个端口的性能基本保持一致;两个端口的性能之和与单端口模式的性能保持一致
两个端口同时进行不同IO模式:
例如,一个server进行顺序读,另一个server进行顺序写,其性能表现明显优于相同模式的性能
图3:128K seq write BW on different workload on pblaze5 DualPort SSD
上图展示的是server A与server B分别进行128K的顺序写时的性能。上面的图中红色的性能曲线是SSD的总带宽,达到2300MB/s ;下图是2个server的带宽,可以看出带宽基本一致,均达到了1150MB/s。
图4:128K seq read BW on different workload on pblaze5 DualPort SSD
上图展示的是server A与server B分别进行128K的顺序读时的性能。上面的图中红色的性能曲线是SSD的总带宽,达到3135MB/s ;下图是2个server的带宽,可以看出带宽基本一致,均达到了1566MB/s左右。
图5:4K random write IOPS on different workload on pblaze5 DualPort SSD
上图展示的是server A与server B分别进行4K的随机写时的性能。上面的图中红色的性能曲线是SSD的总IOPS,达到230k;下图是2个server的IOPS,可以看出基本一致,均达到了115k左右。
图6:4K random read IOPS on different workload on pblaze5 DualPort SSD
上图展示的是server A与server B分别进行4K的随机读时的性能。上面的图中红色的性能曲线是SSD的总IOPS,达到782k;下图是2个server的IOPS,可以看出基本一致,均达到了391k左右。
图7:one host seq write & one host seq read on different workload on pblaze5 DualPort SSD
上图展示的是server A在进行顺序写,同时server B进行顺序读时的性能。上面的图中红色的性能曲线是SSD的总带宽,达到2790MB/s;下图是2个server的带宽,写带宽在1390MB/s左右,读带宽达到1400MB/s。
图8 one host random write & the other random read on pblaze5 DualPort SSD
上图展示的是server A在进行随机写,同时server B进行随机读时的性能。上面的图中红色的性能曲线是SSD的总IOPS,达到450k左右;下图是2个server的IOPS,分别是230k 和220k左右。
结论:
本文通过介绍双端口在企业级存储中的应用,逐一展示了双端口SSD的特性以及性能,很好的说明了双端口NVMe SSD的实用价值。随着阵列,系统,服务器等诸多技术环节的完善和成熟,双端口NVMe SSD将在企业级存储系统中发挥更大的优势。