英伟达H200 GPU发布:HBM容量提升76%,性能飙升90%!

发布者:深铭易购     发布时间:2023-11-14    浏览量:--

【深铭易购】资讯:11月14日消息,英伟达(Nvidia)在当地时间13日上午在“Supercomputing 23”会议上正式发布了全新的H200 GPU,以及更新后的GH200产品线。这标志着英伟达在人工智能领域迈出了重要一步。

H200 GPU建立在现有的Hopper H100架构之上,通过增加更多高带宽内存(HBM3e),提升了处理大型数据集的能力,为人工智能开发和实施提供更好的支持。相比前代H100,H200的综合性能提升了60%到90%。更新后的GH200将为下一代AI超级计算机提供强大动力,预计在2024年将有超过200 exaflops的AI计算能力上线。

具体而言,全新的H200提供了总共高达141GB的HBM3e内存,有效运行速度约为6.25 Gbps,每个GPU的总带宽为4.8 TB/s。与上一代的H100相比,H200的HBM容量提升了超过76%。根据官方数据,在运行大模型时,H200相比H100将带来60%(GPT3 175B)到90%(Llama 2 70B)的性能提升。

值得注意的是,虽然H100的某些配置提供了更多内存,例如H100 NVL将两块板配对,并提供总计188GB内存,但即便是与H100 SXM变体相比,新的H200 SXM也提供了76%以上的内存容量和43%更多的带宽。

H200在运行GPT-3时的性能将比原始A100高出18倍,同时也比H100快11倍左右。英伟达表示,H200和H100是互相兼容的,AI企业可以无缝更换成最新的H200芯片,云端服务商新增H200到产品组合时也无需进行任何修改。预计大型计算机制造商和云服务提供商将于2024年第二季度开始使用H200,英伟达的服务器制造伙伴和云端服务商将成为首批采用H200的企业。

除了英伟达之外,AMD和英特尔也在积极进入AI市场与英伟达展开竞争。AMD的MI300X配备192GB的HBM3和5.2TB/s的显存带宽,远超过H200。英特尔计划提升Gaudi AI芯片的HBM容量,Gaudi 3基于5nm工艺,在BF16工作负载方面的性能将是Gaudi2的四倍,网络性能也将是其的两倍,HBM容量是Gaudi 2的1.5倍。这显示了市场上的激烈竞争。

此外,英伟达还带来了更新后的GH200超级芯片,使用NVIDIA NVLink-C2C芯片互连,结合了最新的H200 GPU和Grace CPU。每个GH200超级芯片将包含总计624GB的内存,相较于上一代的GH200,内存容量得到了显著提升。

GH200带来了ICON性能8倍的提升,MILC、Quantum Fourier Transform、RAG LLM Inference等方面更是带来数十倍乃至百倍的提升。GH200还将用于新的HGX H200系统,与现有的HGX H100系统“无缝兼容”,无需重新设计基础设施。

预计GH200超级芯片将在2024年投入使用,瑞士国家超级计算中心的阿尔卑斯超级计算机可能是明年第一批投入使用的基于GH100的Grace Hopper超级计算机之一。第一个在美国投入使用的GH200系统将是洛斯阿拉莫斯国家实验室的Venado超级计算机。德克萨斯高级计算中心(TACC)Vista系统也将使用Grace CPU和Grace Hopper超级芯片,但尚不清楚它们是基于H100还是H200。

目前即将安装的最大的超级计算机是Jülich超级计算中心的Jupiter超级计算机,它将容纳“近”24000个GH200超级芯片,总共93 exaflops的AI计算。这显示了超级计算领域的快速发展和激烈竞争。

注:图文源自网络,如有侵权问题请联系删除。