随着百亿亿次级系统的出现,当前的系统架构景观达到了顶点。但是自从超级计算首次“成为现实”以来,情况确实如此,它是一个不断变化的目标,数据不断增长,迫使这一问题发生,因为系统架构师致力于优化硬件和工作流程,以加快实现结果的速度。系统。
AyarLabs在本月初举办了一个网络研讨会,主题为“下一代HPC和人工智能工作负载的分布式系统体系结构”,讨论了对新架构的需求以及为将新级别的功能、效率和可组合性带到更高水平而采取的方法。建立超级计算机,最终建立未来的所有计算系统。以下是在网络研讨会期间讨论的五种趋势,这些趋势推动了对新HPC架构的需求:
1.人工智能爆炸式增长–由于人工智能和科学模型的快速发展,计算需求激增。这种趋势仅在这次SC20虚拟会议期间的最新公告中得到进一步强调,因为从芯片制造商到存储及以后的硬件供应商推出了新的架构、技术和策略来应对人工智能计算的增长。
2.灵活性的需求–目前,人工智能主要由GPU计算主导。但是,科学家需要能够使用各种处理单元运行其工作流程。在CPU、GPU、DPU、XPU、FPGA、AI加速器和其他新兴的处理潜力中,处理的多样性不断增长。所有工作负载都不尽相同,因此需要实现一种灵活性,以便针对不同的工作负载以及跨工作负载进行不同的计算。
3.降低成本–超级计算非常昂贵。由于各种原因,有必要改进每瓦计算和每美元容量的方程,这些方程会浪费预算,并使其无法扩展到新的计算高度(以及这些带来的好处和新高度)。降低成本的需求正在推动异构架构的发展,并为HPC架构师探索新的途径。
4.内存难题–在网络研讨会期间,会议主持人Timothy Prickett Morgan解释说,人们或者具有低延迟、小容量(HMB)的高带宽内存,要么具有通过CPU访问高容量内存的较高延迟。研究人员常常不得不根据他们所拥有的内存需求而不是工作负载需求来选择处理器。需要新的方法将内存挂接到系统中,以提供足够的低延迟和足够的高带宽来完成此工作。Morgan表示:“我认为硅光子学将真正改变新架构的格局。”
5.吞吐量–自从超级计算问世以来,对I/O吞吐量的需求一直在增长。但是,近年来,随着I/O改进每年仅以5%-10%的速度递增,该问题已经加速了。人们看到PCIExpress每两年翻一番,而以太网和Infiniband也在稳步发展,但是很明显,电信号已触及物理领域,光子学似乎是前进的最佳途径。
这些是被确定为对新架构的需求的主要驱动力的前五种趋势。AyarLabs聚集了一些行业领导者的重磅炸弹小组,讨论了这些挑战,并在Timothy Pricket Morgan主持下进行了更多讨论,其中包括:
•劳伦斯伯克利国家实验室首席HPC策略师Ian Karlin
•劳伦斯伯克利国家实验室计算机科学主管John Shalf
• AyarLabs的首席架构师和UCBerkeley的EECS教授Vladimir Stojanovic,
•英特尔公司高级首席工程师JoshFryman
•微软公司架构师Doug Carmean。