amd发布性能领先的amd instinct mi325x加速器及系列ai网卡 -奇异果app官网下载

2024年10月11日，amd在旧金山宣布最新的加速器和网络奇异果app官网下载的解决方案，将大规模支持下一代人工智能基础设施：amd instinct mi325x加速器、amd pensando pollara 400网卡和amd pensando salina dpu。amd instinct mi325x加速器为新一代ai模型和数据中心设定了新的性能标准。

amd 首席执行官苏姿丰(lisa su)博士展示amd instinct mi325x加速器

基于amd cdna 3架构，amd instinct mi325x加速器专为卓越的性能和效率而设计，适用于要求苛刻的ai任务，包括基础模型训练、微调（fine-tuning）和推理。这些产品使amd客户和奇异果app官网下载的合作伙伴能够在系统、机架和数据中心级别创建高性能和优化的人工智能奇异果app官网下载的解决方案。

“amd将继续按照我们的路线图，为客户提供他们所需的性能和选择，以更快的速度将人工智能基础设施大规模推向市场。”amd数据中心奇异果app官网下载的解决方案业务部执行副总裁兼总经理forrest norrod表示：“凭借新的amd instinct加速器、epyc处理器和amd pensando网络引擎，我们开放软件生态系统的持续增长，以及将所有这些整合到优化的人工智能基础设施中的能力，强调了构建和部署世界级人工智能奇异果app官网下载的解决方案的关键专业知识。”

amd数据中心奇异果app官网下载的解决方案业务部执行副总裁兼总经理forrest norrod

amd instinc mi325x扩展领先的ai性能

amd instinct mi325x加速器提供业界领先的内存容量和带宽，256gb的hbm3e支持6.0tb/s，比h200增加1.8倍的容量和1.3倍的带宽。与h200相比，amd instinct mi325x的峰值理论fp16和fp8计算性能也提高了1.3倍。

amd instinct mi325x加速器

这种领先的内存和计算可以在fp162的mistral 7b上提供高达1.3倍的推理性能，在fp83的llama 3.1 70b上提供1.2倍的推理性能，在h200的fp16的mixtral 8x7b上提供1.4倍的推理性能。

amd instinct mi325x加速器目前正按计划于2024年第四季度投产，预计从2025年第一季度开始，将有广泛的平台供应商提供系统，包括戴尔科技（dell technologies）、eviden、技嘉（gigabyte）、惠普企业（hewlett packard enterprise）、联想、超微（supermicro）等。

amd instinct mi350系列加速器将于2025年下半年上市

amd继续其对年度路线图节奏的承诺，预览了下一代amd instinc mi350系列加速器。基于amd cdna 4架构，amd instinct mi350系列加速器的推理性能比基于amd cdna 3的加速器提高了35倍。

amd instinc mi350系列将继续推动内存容量的领先地位，每个加速器高达288gb的hbm3e内存。amd instinct mi350系列加速器有望在2025年下半年上市。

amd下一代ai网络

amd正在利用最广泛部署的超大规模可编程dpu为下一代人工智能网络提供动力。ai网络分为两个部分：前端，向ai集群提供数据和信息，后端，管理加速器和集群之间的数据传输，对于确保cpu和加速器在ai基础设施中得到有效利用至关重要。

为了有效地管理这两个网络，并在整个系统中推动高性能、可扩展性和效率，amd为前端引入了amd pensando salina dpu，为后端引入了amd pensando pollara 400，这是业界首款支持超以太网联盟(uec)的ai网卡。

世界上性能最高的第三代可编程dpu–amd pensando salina dpu

amd pensando salina dpu是世界上性能最高的第三代可编程dpu，与上一代相比，性能、带宽和规模提高了两倍。amd pensando salina dpu支持400g吞吐量，可实现快速数据传输速率，是ai前端网络集群的关键组件，可为数据驱动的ai应用优化性能、效率、安全性和可扩展性。

业界首款支持uec的ai网卡amd pensando pollara 400

amd pensando pollara 400采用amd p4可编程引擎，是业界首款支持uec的ai网卡。它支持下一代rdma软件，并以开放的网络生态系统为后盾。amd pensando pollara 400对于在后端网络中提供加速器到加速器通信的领先性能、可扩展性和效率至关重要。

amd pensando salina dpu和amd pensando pollara 400都将在2024年第四季度向客户提供样品，并有望在2025年上半年上市。

amd ai软件为生成式ai提供新功能

amd继续在驱动软件功能和开放生态系统方面进行投资，以在amd rocm开放软件堆栈中提供强大的新特性和功能。

在开放软件社区中，amd正在推动对最广泛使用的ai框架、库和模型(包括pytorch、triton、hugging face等)中amd计算引擎的支持。这项工作转化为开箱即用的性能，并支持amd instinct加速器对流行的生成式ai模型(如stable diffusion 3, meta llama 3, 3.1和3.2)以及hugging face的100多万个模型的支持。

在社区之外，amd继续推进其rocm开放软件堆栈，以最新功能支持生成式人工智能工作负载的领先训练和推理。rocm 6.2提供包括对关键ai功能的支持，如fp8数据类型、flash attention 3、内核融合等。有了这些新功能，rocm 6.2比rocm 6.0在推理方面提供了2.4倍的性能改进，在各种大模型的训练方面提供了1.8倍的性能改进。（发自旧金山）