近两年,随着存储硬件介质的发展和应用需求的变化,面向数据中心的分布式存储市场发生了巨大的变化。根据IDC预测,2020年,公共云存储量将超过个人设备总存储量;2022年,公共云存储量超过企业数据中心总存储量;2025 年公共云存储量占有 50% 总存储量。这些数据的背后,意味着公共云存储正以惊人的速度向企业级存储市场倾斜。面向云时代的下一代存储技术将如何发展?网络、介质、服务器与存储系统软件的均衡将如何设计?
阿里巴巴研究员,阿里云智能存储负责人吴结生
2019年8月22日,2019全球闪存峰会在杭州召开,吸引了浪潮、华为、戴尔科技集团、IBM、新华三、联想凌拓、Memblaze、PureStorage等众多国内外科技领学者和专家参加。与以往不同的是,有一家独特的厂商身影吸引了笔者,阿里云。
我们都知道,阿里云是全球领先的云计算厂商,并不是传统存储和闪存介质厂商,阿里云携多款企业级存储产品参加闪存峰会,也意味着阿里云已经在企业市场取得了一些突破和成果。
据阿里巴巴研究员,阿里云智能存储负责人吴结生在演讲中介绍,阿里云存储过去三年增长超过10倍以上,存储容量增长12倍,其中SSD容量增长超10倍。十年存储进化,更新迭代了涵盖公共云、混合云在内的全球最完整的存储产品线。面向万物智能时代,定义下一代存储,更安全、更稳定、更优化、更智能,无缝上云。
其中,作为全球首个最快的云盘ESSD,是阿里云于2018年正式发布的全新一代企业级高性能的极致云盘。它基于全新一代自主研发的分布式存储引擎盘古2.0,在业内首次将存储软件与SSD融合设计用于云存储场景,专为企业级客户设计,提供单盘最高可达100万的随机读写能力和低至百微秒级别的单路时延能力,加速核心业务上云,帮助业务创造价值。
据悉,ESSD已于2019年6月28日正式商业化,多项技术得到了重大突破。阿里巴巴重新定义了新型的芯片和硬件,在存储芯片方面,自研Aliflash SSD,通过开放接口的方式进一步提升存储系统效率,加速数据中心存储快速演进。在硬件方面,自研神龙服务器,通过MoC 卡提供 IO虚拟化的硬件卸载,持续加速存储和网络IO。
支撑ESSD大规模商业化,更需要稳定性的保驾护航。吴结生透露,经过十年的技术演进,阿里云存储拥有全球首个高性能分布式存储系统盘古2.0,首次采用智能分布式元数据管理方式,突破集群管理的能力边界,进一步增强了系统的稳定性,保障阿里巴巴经济体及云业务运行。
网络是存储的基石。在盘古整体演进过程中,存储网络历经了10Gbps、25Gbps、100Gbps的发展历程,正向400Gbps的方向演进,拥有全球唯一大规模化部署RDMA高性能存储网络。同时,阿里云自研用户态TCP Luna,发展增强型的RDMA数据传输协议,解决了高性能网络系统稳定性问题,提升了IO性能。
此外,在向100Gbps演进的过程中,阿里云首创HPCC高性能流控算法,算法核心思想在2019年的 SIGCOMM上得到发表。高速网络中的流控是世界难题,HPCC流控算法保障网络的稳定性和性能的一致性,提高盘古分布式存储的稳定性和性能。
在All-Flash存储的时代,阿里云规模部署了用户态存储引擎FusionEngine,充分释放闪存介质的能力。并与业内合作伙伴共同制定ZNS(Zoned Namespace) SSD技术规范,推进NVMe技术标准发展,并且围绕Aliflash建立AOC(Alibaba Open Channel)技术生态。