第一批基于闪存的固态(SSD)硬盘在12年前就已经出现,但直到现在,该技术才有望取代数据中心的机械(HDD)硬盘,至少在主存储领域是如此。为什么需要这么长时间?毕竟,采用随机I/O的闪存驱动器比HDD硬盘的速度要快1000倍。
其部分原因是忽略了系统,而只是将其重点放在存储元件和CPU上。这导致业界专注于其每TB的成本,而真正的焦点应该是采用或没有采用闪存的解决方案的总成本的比较。简而言之,大多数系统都是I/O绑定的,使用闪存不可避免地意味着在相同的工作负载下需要更少的系统。这通常抵消了成本差异。
存储行业的转折点来自全闪存阵列:简单的插入式设备,可立即显著提升存储区域网络(SAN)的性能。这已经演变成一种双层存储模式,其中SSD硬盘作为主要存储层,而速度较慢但成本更低的HDD硬盘作为次要存储层。
将新的闪存模型应用于服务器可以提供更高的服务器性能,就像SSD硬盘的价格低于企业硬盘价格一样。凭借良好的经济性和更好的性能,SSD硬盘现在成为主存储层的首选。
如今人们看到NVMe(高速非易失性内存)技术的兴起,其旨在取代串行连接S CSI (SAS)和串行高级技术附件(SATA)作为主要存储接口。 NVMe是一个非常快速、低开销的协议,可以处理数百万IOPS,远远超过其前身。在去年,NVMe的定价接近SAS驱动器价格,使其解决方案更具吸引力。而在今年,人们将看到大多数支持NVMe端口的服务器主板,可能是支持SATA驱动器的SATA-Express。
NVMe是服务器的内部组件,但是新的NVMe over Fabrics(NVMe-oF)方法将NVMe协议从服务器扩展到NVMe驱动器阵列,以及全闪存和其他存储设备,并补充了新的超融合基础设施(HCI)模型用于集群设计。
不过,这些发展并没有结束。存储产品供应商承诺2018年将生产32TB和64TB容量的SSD硬盘。这比目前容量最大的16TB的HDD硬盘要大得多,并且HDD硬盘在热辅助磁记录技术解决之前将一直处于困境。
然而,残酷的现实是SSD硬盘实现了HDD硬盘驱动器无法实现的外形尺寸。大型HDD硬盘尺寸为3.5英寸。而如今已经有2.5英寸尺寸的32TB固态硬盘以及M2.0和“ruler”(细长的M2.0)等新外形尺寸的SSD硬盘,这将为小型设备提供大量存储容量。 英特尔 公司和 三星 公司在1U大小的设备中可以实现PB级存储容量。
二级存储市场发展缓慢且价格低廉,这阻碍了SSD硬盘在二级存储市场的广泛应用。3D NAND和新型Quad-Level Cell(QLC)闪存器件的兴起将在很大程度上缩小价格差距,而每个驱动器的巨大容量将通过减少设备数量来弥补剩余的价格差距。
SSD硬盘在二级市场中有一个秘密武器:由于整个存储结构中有额外的带宽,使其重复数据删除和压缩变得可行,可以有效地将容量扩展5倍到10倍。这降低了以每千兆字节的价格计算QLC-Flash解决方案的成本,其成本低于HDD硬盘。
最终,也许在短短三到四年内,闪存和SSD硬盘将成为数据中心的主要存储产品,除了保守和顽固的用户之外,所有的HDD硬盘都会被淘汰。以下将深入探讨SSD硬盘将如何主导数据中心存储的情况。
(1)系统性能
在推出x86架构后的37年中,CPU发展速度一直遵循摩尔定律,每隔几年翻一番。而在此期间内,HDD硬盘的随机存取的速度只提高了3倍。存储阵列带来了跨数据条带的一些并行访问,但无法提高CPU的性能。
随之而来的是SSD硬盘,其中单个驱动器的速度甚至比大型HDD存储阵列还要快。这导致人们重新思考存储系统,其得出的结论是减轻I/O需求,这意味着人们需要更少的服务器来处理相同的工作负载。例如,NVMe SSD速度如此之快,以至于它们可以支持运行速度比传统HDD硬盘系统快100倍的内存数据库。
人们已经看到了这种新观点的结果。传统的存储阵列销售正在下降,而厂商正在用SSD硬盘替换服务器中使用的企业级SAS驱动器。公平地说,快速HDD硬盘是一个即将消亡的品种。
(2)闪存芯片的定价
3D NAND的应用并不顺利,这导致了其价格下滑。由于其生产问题已经解决,3D NAND是一项坚实的技术。其价格再次开始下滑,但与HDD硬盘的价格差距仍然大致为三比一。
这一差距为HDD硬盘制造商提供了一些解决方案,但存储分层也会影响整个集群的总体拥有成本,因此即使在大容量存储中,也会考虑采用SSD硬盘。
2018年,将会有更多新的闪存代工厂正在投产。结合向3D NAND、芯片堆叠和QLC技术的发展,他们将生产新一代大容量的主要读取存储器,它将取代二级存储空间,成为比任何HDD硬盘解决方案成本更低和更紧凑的选择。同样,对于任何给定容量,将需要更少的存储设备。
(3)存储分层
随着存储模式从大量的并行HDD硬盘向快速SSD硬盘演进,快速主存储和缓存二级存储之间的分层存储概念已经启动。HDD硬盘可以满足慢速大容量存储的需求,但SSD硬盘容量的快速增长以及3D NAND和QLC单元等低成本闪存的出现,标志着向基于闪存的二级存储的转变。
此外,添加的压缩和重复数据删除功能,都有助于提高SSD硬盘的带宽,并且在大多数使用情况下,二级存储的有效容量可扩展5倍至10倍。重复数据删除和压缩用于快速主存储,以节省二级网络存储的传输成本和带宽,从而大幅节省二级存储的采购成本。
(4)新的存储软件
SSD硬盘具有性能优势,现在人们看到创业公司对“挖掘”次级数据层有创造性的想法。这是软件定义存储方法的一个例子,它将吸引人们将数据服务链接在一起以实现结果。在数据处理通过链处理时,SSD硬盘的低访问延迟变得重要。
对象存储正在向SDS模型发展,人们已经可以在目前使用SSD的对象存储中看到其出色的性能。专家预测文件和块I/O将迅速成为访问底层对象存储的协议,实现统一和更简单的存储模型。
(5) 以太网 NVMe
随着SSD硬盘性能的快速提升,集群结构的带宽也随之增加。在2010年,1千兆位以太网被认为很热门。而如今,400GbE骨干网正在推向市场。更重要的是,远程直接数据存取(RDMA)支持现在很常见。RDMA释放大量CPU时间移动数据。
由于更高效的协议NVMe取代了它,SCSI协议正在结束其30年来的存储优势。使用该协议的SSD硬盘可实现数百万IOPS,从而实现大数据分析以及其他应用程序。
人们现在看到量身定制NVMe在以太网上运行。这将使SSD硬盘能够直接连接到集群结构,为超融合基础设施增加了新的速度和连接性。
(6)新的形式因素
与HDD硬盘不同,SSD硬盘不受HDD硬盘尺寸的限制。目前已有32TB 2.5英寸固态硬盘,2018年供应商将推出相同外形尺寸的64TBSSD硬盘。直到2019-2020年HAMR技术产品推出为止,HDD硬盘驱动器一直处于领先地位。即使如此,大容量硬盘的尺寸一直是3.5英寸,没有任何突破。
这意味着使用SSD硬盘的服务器和设备可以在相同尺寸下获得更多容量。例如,2U服务器如今可以安装24个SSD硬盘(768TB),相比之下,同样的服务器只能安装12个HDD硬盘,容量大约180TB。
此外, M2.0固态硬盘的尺寸更加紧凑,因此产生了具有32TB原始容量的“ruler”硬盘的新设备。如果人们将其与传统阵列或当今基于服务器的节点进行比较,就可以看到节省了大量设备成本和空间。如果添加重复数据删除和压缩功能,1U存储设备的容量甚至可能达到5PB。