老黄H100再破纪录4分钟训完GPT-3全新「特供版」H20、L20和L2曝光性

　　英伟达H100再次刷榜了，不到4分钟就训完GPT-3，比6月成绩提升3倍。另外，特供版H20、L20和L2性能全都爆出。

　　通过推算，Eos现在可以在短短8天内进行训练，比之前使用512个A100 GPU的先进系统快73倍。

　　在本轮新的生成式AI测试中，1,024个NVIDIA Hopper架构GPU在2.5分钟内完成了基于Stable Diffusion文本到图像模型的训练基准测试，为这一新工作负载设定了高标准。

　　这一成就归功于加速器、系统和软件创新的全栈平台，Eos和Microsoft Azure在最近一轮测试中都使用了该平台。

　　Eos和Azure在各自的提交中都采用了10,752个H100。它们的表现相差不到2%，展示了英伟达AI在数据中心和公有云部署中的高效性。

　　它有助于推进NVIDIA DLSS和ChipNeMo等计划，后者是帮助设计下一代GPU的生成式AI工具。

　　比如，在训练推荐系统模型的测试中，H100 GPU比上一轮快了1.6倍。在计算机视觉模型RetinaNet的测试中，性能提高了1.8倍。

　　英伟达再次成为唯一一家完成了所有MLPerf测试的公司。H100在9项基准测试中展示了最快的性能和最大的扩展性。

　　这些加速为用户训练大模型或用NeMo等框架自定义模型以满足业务需求,带来了更快上市时间、更低成本和节省能源。

　　这一轮测试中，包括华硕、戴尔技术、富士通、技嘉、联想、QCT和超微等11家系统制造商在提交结果中使用了NVIDIA AI平台。

　　尤其是在2023年11月生效的新规，更是要求所有达到一定总处理性能和/或性能密度的硬件都必须获得出口许可。

　　据最新泄露的文件和四位熟悉内情的人士透露，为了遵守美国的出口管制，英伟达已经推出了三款全新的「中国定制版」芯片——HGX H20、L20 PCle 和 L2 PCle GPU。

　　其中，HGX H20配有高达96GB的HBM3显存，以及4TB/s的带宽，并且基于全新的Hopper架构。

　　除此之外，为了遵守新规，HGX H20、L20 PCle和L2 PCle GPU不仅性能是残血的，而且还只配备了残血版的NVLink连接。