英伟达AI芯片H200性能提升60%-90%,开始供货

互联网 2024-03-28 20:09 阅读:20

英伟达的最新尖端图像处理半导体(GPU)H200已经开始供货,这款面向AI领域的半导体性能超越了之前的主打产品H100。根据英伟达公布的性能评测结果,以Meta公司旗下大语言模型Llama 2的处理速度为例,H200相比H100,生成式AI导出答案的处理速度最高提高了45%。

市场调研机构Omdia曾表示,2022年英伟达在AI半导体市场约占据了80%的份额,而竞争对手AMD等也在不断开发对抗英伟达的产品,竞争日益激烈。英伟达在最近的开发者大会上宣布,将推出新一代AI半导体“B200”,这款产品与CPU组合,用于最新的LLM上,其中“最强AI加速卡”GB200包含了两个B200 Blackwell GPU和一个基于Arm的Grace CPU,推理大语言模型性能比H100提升了30倍,成本和能耗降至25分之一。

GB200采用了新一代AI图形处理器架构Blackwell,英伟达表示:“Hopper固然已经非常出色了,但我们需要更强大的GPU”。据报道,英伟达H200是基于“Hopper”架构的HGX H200 GPU,是H100 GPU的继任者,也是英伟达第一款使用HBM3e内存的芯片,这种内存速度更快,容量更大,更适合大型语言模型。相比前代H100,H200的性能直接提升了60%到90%。英伟达称:“借助HBM3e,英伟达H200以每秒4.8TB的速度提供141GB的内存,与A100相比,容量几乎是其两倍,带宽增加了2.4倍。”