12月4日消息，亚马逊今日在AWS re：invent大会上发布了基于Arm架构的Graviton2服务器芯片，同时公布了Inferentia芯片的最新进展。AWS表示，Graviton2相较x86同类产品计算量提升4倍，性价比提升最高达40%。基于Inferentia芯片的Inf1实例相比Nvidia G4实例，吞吐量提高3倍，且成本降低40％。Graviton2已经针对AWS云的原生应用进行了优化，并且每个核心的浮点性能有2倍提升。Inferentia是用于AI推理的高性能芯片，于去年推出。AWS CEO Andy Jassy今天在会上表示，目前AWS已经储备了人才力量，将在自研芯片领域持续发力，为用户提供更多高性价比产品。

    一、Inf1吞吐量超英伟达G4 3倍  

▲AWS首席执行官Andy Jassy于2019年12月3日在拉斯维加斯的re：Invent大会上，图片来源：Techcrunch

亚马逊AWS今天推出了Inf1实例，该实例由Inferentia芯片提供支持，是一个在云中为AI推理提供支持的实例，AWS CEO Andy Jassy称之为云中可用的成本最低的推理产品。

Andy Jassy表示，“与Nvidia G4实例相比，Inf1具有更低的延迟，吞吐量将提高3倍，并且每个实例的成本降低40％。”“使用云服务为AI解决方案提供动力的运营成本绝大多数来自推理，而推理芯片可能会很昂贵，并且要求低延迟和高吞吐量。”

Inf1还将由Annapurna Labs制造的Inferentia芯片提供支持，该芯片企业是2015年被以色列AWS收购的。Inferentia芯片拥有4的个NeuronCore，可以提供128TOPS的算力，而每个Inf1实例可以提供2000 TOPS的算力。

▲Inferentia芯片详细参数，图片来源：AWS

Inf1实例目前已经上市，并将与PyTorch，MXNet和TensorFlow集成。2020年，Inf1将可以用于EKS实例和Amazon的SageMaker，来进行机器学习的推理运算。

▲Inf1实例四种规格，图片来源：AWS

    二、Graviton2成为英特尔AMD劲敌  

亚马逊今日还推出了基于Arm架构的Graviton2服务器芯片，与基于x86的同类实例相比，该处理器的性价比最高提升可达40%，计算量提升4倍。基于Arm架构的Graviton2可能会对云工作负载、AWS的成本结构以及数据中心Arm架构的应用产生重大影响。

▲M6g、R6g、C6g实例部分数据

AWS加大了对Graviton2的投注，它们对Arm架构的数据中心处理器研发和稳步推进云基础架构创新都非常重视。AWS正在启动新的基于Arm的Amazon EC2实例，包括M6g、R6g、C6g系列。

Graviton2针对云原生应用进行了优化，并且基于64位Arm Neoverse内核和AWS的片上定制系统设计。Graviton2的每核浮点性能提高了2倍，可用于科学和高性能工作负载领域，最多支持64个虚拟CPU，25Gbps网络和18Gbps EBS带宽。

AWS CEO Andy Jassy在主题演讲中说：“我们决定设计芯片来为您提供更多功能。尽管许多公司使用x86已有很长时间，但我们希望为您提高性价比。”不过他补充说，英特尔和AMD仍然是AWS的主要合作伙伴。

首先看inferentia。据了解，该芯片于去年首次宣布。据了解，AWS Inferentia 是一个由 AWS 定制设计的机器学习推理芯片，旨在以极低成本交付高吞吐量、低延迟推理性能。AWS Inferentia 将支持 TensorFlow、Apache MXNet 和 PyTorch 深度学习框架以及使用 ONNX 格式的模型。亚马逊进一步指出，AWS Inferentia 提供数百 TOPS（每秒万亿次运算）推理吞吐量，以允许复杂模型能够进行快速预测。对于更复杂的性能需求，可以组合使用多个 AWS Inferentia 芯片来支持数千 TOPS 的吞吐量。

从数据上看，AWS Inferentia每个芯片集成了4的neuroncore，每秒可提供128 Tera操作（每秒TOPS或数万亿次操作），支持FP16、BF16、INT8等数据类型，能支持多个框架（包括TensorFlow，PyTorch和Apache MXNet），每个Amazon EC2 Inf1实例最多可提供2000 TOPS。

正如AWS首席执行官安迪·贾西（Andy Jassy）指出的那样，许多公司都在关注可让您训练模型的定制芯片（尽管Google和其他公司肯定会对此表示反对）。他进一步指出，推理通常可以在常规CPU上很好地工作，但是定制芯片显然会更快。

“与EC4上的常规Nvidia G4实例相比，借助Inferentia，AWS可提供更低的延迟和三倍的吞吐量，且每次推理成本降低40％”，Andy Jassy强调。

从亚马逊的介绍我们可以看到，新的Inf1实例可实现多达2,000 TOPS的功能，并与TensorFlow，PyTorch和MXNet集成，以及用于在框架之间移动模型的ONNX格式。但目前，这颗芯片仅在EC2计算服务中可用，但很快也会用于AWS的容器服务及其SageMaker机器学习服务。

除此之外，亚马逊还带来了新一代的，拥有强悍性能表现的Arm服务器芯片Graviton2。据亚马逊介绍，AWS Graviton 2处理器的速度比以前一代的芯片快7倍，浮点性能是2倍。AWS进一步表示，Graviton2芯片的单核高速缓存是其两倍大，并具有额外的存储通道（根据定义，它几乎必须如此），并且这些功能一起使Graviton2的存储速度比原始Graviton快5倍。

资料显示，Graviton2是一个基于Arm全新内核Neoverse 定制设计的7nm SOC，具有64个Arm Neoverse N1内核（每个64KB L1 / 1MB L2高速缓存），支持双SIMD，并支持int8和fp16处理的特殊指令。

最为一个用用300亿晶体管的野兽，Graviton2的大小与AMD的EPYC相似，比其他任何数据中心处理器都要大。N1内核通过网状架构连接，具有大约2TB /秒的带宽，32MB L3高速缓存和64通道PCIe gen 4通道。Graviton2服务器通过带有临时密钥的AES-256支持8个DDR4-3200通道的始终加密的内存以及高达1Tbit / sec的压缩内存加速。这几乎是一个“核心”，具有一些非常特殊的功能，例如用于ML推理的本地fp16和始终加密的内存。给我留下深刻的印象。

针对更快的机器学习推理提供了优化的指令，以及针对压缩工作负载的自定义硬件加速。另外，AWS Graviton2处理器还提供始终在线的完全加密的DDR4内存，每核加密性能提高50％，以进一步增强安全性。

据透露，与第一代Graviton相比，AWS称Graviton2的性能是前代的7倍，计算核心是4倍，而内存则是5倍”。它还提供25Gbps网络和18Gbps EBS带宽。在和竞争对手相比，AWS Graviton2的实例也能提供不错的性能表现。

以下是AWS提供的，M6g在数据中心实例中，实测数据与M5对比，有了很好的提升：

整数性能比SPECint2017速率高40％以上（估计）

SPECfp2017速率的浮点性能提高了20％以上（估计）

SPECjvm2008上的Java性能提高了40％以上（估计）

NGINX上的Web服务性能提高20％以上

在Memcached上的性能提高40％以上，并具有更低的延迟和更高的吞吐量

对于未压缩的1080p到H.264视频，媒体编码性能提高20％以上

BERT ML推理提高25％

Cadence Xcellium EDA工具的EDA性能提高50％以上

另外，据亚马逊AWS介绍，客户可以在这个芯片的系统上运行以下程序：

操作系统/环境：Amazon Linux 2; Ubuntu 16.04 / 18.04 / 18.10; RHEL 7.6 / 8.0；适用于Arm 15的SUSE Linux Enterprise Server；Fedora Rawhide /原子；Debian 9.8; Docker桌面社区和Docker企业引擎（测试版），“更多即将推出”

容器：Amazon ECS和Amazon EKS（在预览中），AWS 表示 “在Docker Hub中托管的大多数Docker官方映像（截至今天，已超过70％）已经支持64位Arm系统以及x86。”

工具：AWS Marketplace，Systems Manager，CloudWatch，CodeBuild，CodeCommit，Cloud9，CodePipeline，Inspector，批处理，CDK，CodeDeploy，CodeStar，CLI，X-Ray和Amazon Corretto（OpenJDK发行版）。

AWS服务：Amazon ElastiCache，EMR，弹性负载平衡

亚马逊的芯片业务主要基于他们在2015年收购的以色列芯片设计公司Annapurna Labs。据悉，亚马逊收购Annapurna Labs的价格约为3.5亿美元。该公司主要研发微处理器，这种微处理器可以让低功率的的计算服务器和存储服务器快速地运行数据。Annapurna Labs是过去10年中以色列国内成长起来的优秀初创型芯片厂商之一。

Jassy在re：Invent的开幕主题演讲中也表示：“在AWS的历史上，对我们来说，一个重大的转折点是我们收购了Annapurna Labs，这是一群由以色列非常有才华和专业的芯片设计师和制造商组成的团队，我们决定实际上将设计和制造芯片以尝试为您提供更多功能，”

因为数据中心是一个拥有超过90%以上的市场，为此亚马逊进入这个市场，被看作是与Intel的直接竞争。但亚马逊的贾西（Jassy）表示，英特尔是“非常紧密的合作伙伴，但为了更高的性价比，我们必须自己进行一些创新。而据介绍，这个价格/性能比会较之X86系统高于40%。

    结语：亚马逊服务器芯片重点发力，自研已成主攻方向  

通过目前亚马逊发布的Inf1实例和Graviton2芯片，以及AWS CEO的发言我们不难看出，打造高性价比的自研芯片是亚马逊目前和今后的主要发展策略，而Arm架构在服务器领域的声量也将越来越大。

不过Andy Jassy也提到，英特尔、AMD后续将继续作为AWS的主要合作伙伴。在AI芯片和服务器芯片两大战场，格局似乎变得不再单一，英特尔、AMD、亚马逊等巨头后续会展开怎样的竞争与合作，我们拭目以待