英特尔发布Gaudi 3,挑战Nvidia主导地位!

发布者:深铭易购     发布时间:2024-04-10    浏览量:90

【深铭易购】资讯4月9日,英特尔在周二的Vision活动上详细介绍了其人工智能芯片的新版本,该芯片瞄准了Nvidia,在为人工智能提供动力的半导体领域占据主导地位。

科技公司正在寻找人工智能所需稀缺芯片的替代来源。英特尔表示,其新型Gaudi 3芯片训练特定大型语言模型的速度比Nvidia上一代H100处理器快50%。它还能够计算生成式人工智能响应(称为推理的过程),速度比英特尔测试的某些型号的H100芯片更快。

英特尔和Advanced Micro Devices一直在努力生产一系列引人注目的芯片和构建人工智能应用程序所需的软件,这些应用程序可以成为Nvidia的可行替代品。到2023年,Nvidia控制了大约83%的数据中心芯片市场,其余17%的份额大部分由谷歌的定制张量处理单元(TPU)持有,但该公司并不直接销售这些单元。

据介绍,Gaudi 3采用的是台积电5nm工艺,在芯片设计上,Gaudi 3转向了具有两个计算集群的Chiplet的设计,而不是Gaudi 2所采用的单个集群的方案。Gaudi 3拥有8个矩阵数学引擎、64个张量内核、96MB SRAM(每个Tile 48MB,可提供12.8 TB/s的总带宽)和128 GB HBM2e内存,16个PCIe 5.0通道和24个200GbE链路。在计算核心的周围,则是八个HBM2e内存堆栈,总容量为128 GB,带宽为3.7 TBps。

虽然Gaudi 3是英特尔最新一代的AI加速芯片,相比上一代的Gaudi 2带来了很大的提升,但是其仍然难以与Nvidia最新的B200或者AMD最新的MI300X系列竞争。显然,英特尔Gaudi 3的主要对标的也是NvidiaH100/H200。

根据英特尔官方公布的数据显示,Gaudi 3 在流行的大语言模型(LLM)训练速度方面,比英伟达H100平均快了40%;在流行大模型的推理能效表现上,比如英伟达H100领先50%。

具体来看,英特尔 Gaudi 3 与英伟达 H100 在相同节点数量下,相关大模型训练时间对比上最高快了1.7倍,其中,LLAMA2 70 亿参数对比有 1.5 倍于 H100 的优势,LLAMA2 130 亿参数最高有 1.7 倍的优势,GPT 3 1750 亿参数有 1.4 倍优势。

目前英伟达B200和AMD MI300X都配备了192GB HBM3e/HBM3,英伟达上代的H200也配备了141GB HBM3。显然,Gaudi 3在这方面是相对落后不少的,仅比H100多一些,但还是较旧的HBM2e,这也使得其在HBM内存带宽上仅有3.7 TBps,远低于英伟达H200的4.8 GBps 和 AMD MI300X的 5.3 TBps。

Gaudi 3芯片在今年第二季度将提供给Supermicro等服务器制造商和惠普企业。

注:图文源自网络,如有侵权问题请联系删除。