亞馬遜推出基于Inferentia芯片的Inf1實例

當(dāng)?shù)貢r間12月3日，亞馬遜在“AWS re：invent”大會上正式發(fā)布了自主研發(fā)的第二代基于Arm架構(gòu)的服務(wù)器芯片Graviton2，同時公布了去年發(fā)布的云端AI推理芯片Inferentia的最新進(jìn)展。

亞馬遜AWS在此次大會上推出了Inf1實例，該實例由Inferentia芯片提供支持，是一個在云端為AI推理提供支持的實例，AWS CEO Andy Jassy稱之為云中可用的成本最低的推理產(chǎn)品。

Andy Jassy 指出：使用云服務(wù)為AI解決方案提供動力的運(yùn)營成本絕大多數(shù)來自推理，而推理芯片可能會很昂貴，并且要求低延遲和高吞吐量。許多企業(yè)都在模型訓(xùn)練的定制芯片上投入了大量精力，盡管常規(guī) CPU 上已經(jīng)能夠較好地執(zhí)行推理運(yùn)算，但定制芯片的效率明顯更高?！芭cNvidia G4實例相比，Inf1具有更低的延遲，吞吐量將提高3倍，并且每個實例的成本降低40％?！?/p>

Inferentia芯片還將由Annapurna Labs提供支持，該芯片企業(yè)是2015年被以色列AWS收購的。Inferentia芯片擁有4的個NeuronCore，可以提供128TOPS的算力，而每個Inf1實例可以提供2000 TOPS的算力。

與 EC4 上的常規(guī) G4 實例相比，Inferentia 能夠讓 AWS 帶來更低的延時、三倍的吞吐量、且降低 40% 單次的成本。

Inf1實例目前已經(jīng)上市，并將與PyTorch，MXNet和TensoRFlow集成。不過，目前其僅可在EC2計算服務(wù)中使用，但明年，Inf1將可以用于EKS實例和Amazon的SageMaker，來進(jìn)行機(jī)器學(xué)習(xí)的推理運(yùn)算。