英伟达发布 AI 芯片 H200

英伟达昨晚正式发布了 AI 芯片 H100 GPU 的后续产品 HGX H200 GPU,可大幅提高大语言模型的能力。

据悉,HGX H200 GPU 基于英伟达的“Hopper”架构,相比前代产品内存带宽增加了1.4倍,内存容量增加了1.8倍。H200 GPU使用了HBM3e 内存的芯片,能够以每秒 4.8 TB 的速度提供 141GB 的内存。

英伟达表示,H200更大、更快的内存可加快生成式人工智能和大语言模型的速度,与 H100 GPU 相比,H200 在处理 Llama2 等大语言模型时可将推理速度提高 2 倍。

H200 还与已经支持 H100 的系统兼容。英伟达表示,客户在添加H200时不需要做任何改动。亚马逊、谷歌、微软和甲骨文的云计算部门将在明年率先使用到新的 GPU。

预计H200将于2024年第二季度上市,届时将与AMD的MI300X GPU展开竞争。与H200相似,AMD的新芯片相比前代产品拥有更多内存,这对运行大型语言模型的推理计算有帮助。

据美国金融机构Raymond James透露,H100芯片的成本仅为3320美元,但英伟达对其客户的批量价格却高达2.5万至4万美元。这使得H100的利润率可能高达1000%,成为有史以来最赚钱的芯片之一。

在训练大型语言模型时,通常需要数千个H100集群协同工作,因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。

由于对其产品的需求看似无穷无尽,英伟达今年的销售额大幅增长,股价上涨了230%,市值突破了1.2万亿美元大关。截至周一收盘,该股收涨0.59%,报486.2美元。