2020 年 GPT-3 加入无极4 模型的参数量首次突破千亿大关,达到了 1750 亿,堪称“大力出奇迹”。今日凌晨,万众瞩目的大型多模态模型 GPT-4 正式发布!GPT-4 是多模态的,同时支持文本和图像输入功能。该版本“更强大”,模型精度随着模型尺寸及训练数据的增加而显著提升。

训练巨量模型需要巨大的算力,但随着数据集和模型规模不断增加,应用程序载入数据所花费的时间变得越长,进而影响了应用程序的性能,缓慢的 I/O 严重拖累GPU 的强大算力。如何大幅提升GPU载入大型数据集的速度将是计算和存储系统共同面临的最大挑战。为更加完美地满足大规模计算集群对于存储系统的数据访问需求,进一步发挥强大的 GPU 计算能力,将性能发挥到极致,焱融技术团队历时6个月的时间完成对NVIDIA GPUDirect Storage(GDS)的适配开发,实现以直接内存的存取方式,将数据传输至GPU内存上,显著降低I/O延迟,提升数据带宽。

GDS简述

现代 AI 和数据科学工作是由大量数据驱动的,随着人工智能以及高性能运算的数据集规模不断增加,GPU 计算和数据中心存储系统之间的快速通信变得至关重要。数据从 NVMe 磁盘传输到 GPU 内存的标准路径,无极4官网 传统的方式是由 CPU 控制的,使用系统內存中的回弹缓存(Bounce Buffer)做数据的中转。这种操作过程会产生额外的数据拷贝工作,无极4平台 造成很大的系统开销。当数据集的规模不断增加,应用程序载入数据花费的时间会变得越来越长,进而影响了应用运行的性能。