人工智能   走向异质化，边缘运算已经成为现在主流趋势，以台北国际电脑展(Computex2019)为舞台，各厂商大秀边缘AI火力。

人工智能(AI)的技术日益成熟，须要处理的资料量也不断增加，因此边缘运算(EdgeComputing)形成时下主流，大厂纷纷加速布局边缘AI。于Computex2019可以看到Arm、NVIDIA、美光(Micron)等皆展现了各自在边缘AI的实力。

 TotalCompute大策略全力释放AI潜力

现在人工智能核心平台开始迈向异质化时代。现在的智能手机已经内建许多人工智能和机器学习(ML)的基础功能，包括即时影像撷取、人脸识别等，ArmIP产品事业群总裁ReneHaas(图1)于Computex2019论坛中，发表“全面运算引领AI成长”(ScalingAIThroughTotalCompute)主题演说。探讨AI运算在各个市场所面临的复杂挑战，以及TotalCompute解决方案为何能够同时满足AI效能提升与应用开发的需求。

ArmIP产品事业群总裁ReneHaas表示，全面运算可以提升AI效能并满足应用开发需求。

目前在全球大约14亿支的智能手机中，仍然约有85%的手机是将机器学习的工作负载交由CPU或者CPU+GPU执行的。而根据Arm对AI处理器工作负载的研究，为达成更佳的应用效能和使用体验，发挥AI和ML的优势，未来智能装置的AI运算核心，将以CPU为中心，再整合运用GPU、类神经网络处理器(NPU)、资料流处理器(DPU)、现场可编程逻辑闸阵列(FPGA)等运算资源。

从产业转型方面来看，软件也迈向碎片化，不论是自动驾驶、5G引爆的边缘伺服器需求、AI型穿戴装置和虚拟实境(VR)、扩增实境(AR)、高画质游戏体验、5G智能手机等，都带来超高的运算效能与智能功能要求。此外，安全也是一项极大的考验，前述各种市场领域的设备与装置，都储存了大量的个人资讯，没有人希望窃取个人机密资料的事件再次发生。

Haas指出，这些大规模运算流程、跨处理元件的运用、安全保护要求，以及特定领域运算vs通用运算等，都将让应用开发变得越来越困难且成本越来越高，市面上太多不同软件的选择，造成开发人员/生态系统碎片化的扩大，增加了推动装置AI化的困难。

针对上述的AI运算与体验挑战，Arm提供从系统整体出发，结合硬件矽智财(IP)、软件架构和最佳化工具，一次解决未来运算复杂性的全面运算解决方案。一方面，TotalCompute解决方案能以CPU为任务控制核心，再透过SystemIP确保AI运算的工作负载能达到最佳分配。例如影像搜寻作业由NPU执行，将比CPU更快、更有效率。再加上Arm的GPU、ML处理器、显示处理器、ArmNN架构等，将能协助开发人员全面释放AI效能。

另一方面，TotalCompute为开发人员提供了一个更容易运用的未来生态系统。碎片化的软件和开发人员生态系统，除面临需提升各种装置的存取效能以推展AI应用的挑战外，复杂的运算又进一步提升效能的需求，因此为了能让AI应用轻松扩展到不同的环境中，Arm借由快速、简单、成本更低的TotalCompute解决方案。提供一个统一的开发途径。Arm所开发的软件架构充分运用ArmIP以及ArmNN、ArmComputeLibrary、ArmDevelopmentStudios和ArmMobileStudios，有效加速产品开发的上市时程。

Haas总结未来新的工作负载是以使用案例为设计基础的，要解决未来的复杂性挑战，必须从根本上最佳化硬件、软件、平台安全性和工具。整个AI产业面临着极大的挑战，而CPU软件生态系统将有助于开发人员拓展边缘的AI体验，Arm透过TotalCompute策略涵盖的软硬件和生态系统，帮助开发者跨越各个市场领域，加速提供5G时代的全新体验。

 NVIDIAEGX加速运算平台让决策更即时

随着人工智能技术逐渐成熟，相关企业积极布局AI边缘运算。因应此潮流，NVIDIA在Computex2019发表了EGX加速运算平台，让企业能在边缘执行低延迟的即时(Real-time)AI作业，能针对5G基地台、仓储、零售商店、工厂与其他作业站间庞大且不间断的资料串流进行接收、分析并即时采取行动。

NVIDIA产品行销经理PareshKharya表示，为了实现不同的工业应用，如智能影像识别分析系统(IVA)、资料中心(DataCenter)、嵌入式系统(Embedded)和汽车等等，NVIDIA推出了EGX加速运算平台。现在的资料量越来越大，所有的分析必须是立即的，才能即时做出决策，因此即时边缘AI的重要性也显得更加重要。

Kharya举例说明，在医院，可以利用即时边缘AI协助医生做出医疗诊断;在智能城市(SmartCity)的应用，也可以用来辨别车辆，进行分析决策，借此控制车流，达到疏通壅塞的目标。NVIDIAEGX平台将加速AI运算的力量带到了边缘，让智能零售、医疗保健、制造业、运输和城市都具备更即时的AI运算能力。

另外，EGX拥有强大的扩充性，小至体积极小的NVIDIAJetsonNano，以仅仅几瓦的耗能就能提供如影像识别等任务所需每秒五万亿兆次浮点的运算(TOPS);规模亦可大至一整柜的NVIDIAT4伺服器，为即时语音识别和其他即时AI任务提供超过10  , 000兆次浮点运算的效能(图2)。同时NVIDIAEGX在架构上支援云端提供的NVIDIAAI运算。在云端开发的AI应用程式可以在NVIDIAEGX上运作，反之亦然。内含EGX的NVIDIAEdgeStack可以连接到云端IoT服务，使客户能从AWSIoTGreengrass和MicrosoftAzureIoTEdge远端管理他们的服务。NVIDIAEGX也具备了企业级的安全保障，NVIDIA的AI和运算技术结合了Mellanox、Cisco等大厂的网络、储存和安全技术，进而实现更高阶的隔离和安全性，同时又不会影响CPU的效能。

NVIDIAEGX平台可提供超过10  , 000兆次浮点运算的效能

 美光积极布局AI促进强化边缘运算

预估全球传输、储存、分析的数据量将于九年内成长十倍，至2023年时将达到103ZB。面对如此庞大的数据量，如何将其转化为资讯并从中挖掘有用的洞见将是一项难题，而人工智能在数据分析的过程扮演要角。美光于Computex2019上，表示将积极布局人工智能领域，并让运算更靠近边缘。

美光运算与网络业务部门资深副总裁暨总经理ThomasT  . Eby(图3)表示，美光本身就是人工智能应用的最佳案例。透过导入人工智能至生产厂区，美光得以增加生产良率、促进工作环境安全与提升整体效能。美光导入人工智能打造智能制造，所得到的成果包括达到成熟良率的时间缩短25%、提升晶圆产出10%以及不良率减少35%，效果显著。

美光运算与网络业务部门资深副总裁暨总经理ThomasT  . Eby表示，运算越来越异质化，AI在边缘运算的重要性也跟着提高。

同时，Eby也提到，随着运算越来越异质化，人工智能在边缘运算的重要性就更高。以前的资料中心以CPU为中心，现在则趋向异质化，有CPU、GPU、FPGA等，在边缘运算已经是大势所趋。美光提供全面的解决方案，让运算更靠近记忆体，甚至在记忆体中运算，以配合现在资料中心的需求。

Eby进一步指出，根据美光委托Forrester访问建构人工智能平台的工程师和IT专家的结果显示，开发人工智能系统时，首要考量并非运算，而是如何打造记忆体与储存架构以满足庞大运算需求。报告中有超过九成的受访者表示，记忆体与储存架构攸关开发人工智能系统的成败，储存与记忆体吞吐量的重要性更胜于运算，且运算与记忆体间的距离越来越近。

在自驾车的记忆体需求方面，Eby也表示，未来每辆L5级自驾车，将会配置8~12个解析度高达4K~8K的显示荧幕，而为了支援V2X连结，记忆体每秒需处理0  . 5~1TB的数据量，在车内娱乐系统方面，记忆体频宽需求每秒也将达150~300GB。未来自驾车将会像飞机一样有黑盒子，以每30秒持续录制片段，纪录车内外状况，因此记忆体频宽需求每秒也达到1GB。此外，在车辆生命周期中，会重复写入的数据加起来将有150PB(Petabyte)，所以对记忆体与储存的效能与耐用性要求会特别高。