新闻中心

郑纬民:AI大模型基础设施亟待优化

1213日召开的第二届数据安全治理年会上,中国工程院院士郑纬民表示,我国人工智能基础设施亟待优化,应从软硬件两方面突破瓶颈。

 

我国人工智能产业面临软硬件两方面瓶颈

 

在会上,郑纬民提出了算力“三大定律”:人类已经进入以算力为核心生产力的数字经济时代,算力就是生产力,这是“时代定律”;当下,算力每12个月就增长一倍,算力资源增速显著,已经打破摩尔定律,这是“增长定律”;算力每投入1元,就带动3~4GDP经济增长,这是“经济定律”。

 

近年来,我国人工智能产业发展呈指数级增长。郑纬民表示,预计到2025年,中国人工智能产业规模将超过4500亿元,带动产生间接经济效益超1.6万亿元。

 

郑纬民直言,我国人工智能产业正面临着软件、硬件两方面的瓶颈。

 

从硬件角度看,一方面,我国国产芯片产量不足。郑纬民表示,2021年,我国人工智能服务器芯片总用量100万片,其中,美国英伟达市场份额高达95%左右。

 

从软件角度看,我国在算法等技术方面发展仍然有所欠缺,当前,谷歌和Meta的人工智能算法开发框架占中国人工智能市场份额的90%以上。

 

郑纬民坦言,要解决当下面临的问题,一是营造完善的人工智能服务器硬件生态,二是优化人工智能大模型基础设施架构。

 

4个平衡”优化大模型基础设施

 

郑纬民强调,在设计大模型基础设施时,要思考“4个平衡”的优化问题。

 

一是半精度运算性能与双精度运算性能的平衡设计。在计算机系统的内存中,半精度、单精度和双精度是决定数据计算精确度的度量标准,双精度比半精度更精密,但同时要占据更多存储空间。郑纬民提出,大模型设计中不仅要考虑16位的半精度运算性能,还要考虑支持64位的双精度运算。他表示,最优的双精度与半精度运算性能比为1:100

 

二是网络平衡设计。郑纬民指出,在网络设计方面,高带宽、低延迟的网络是极大规模预训练模型运行的必要条件。“在训练过程中,我们采用数据并行、模型并行和专家并行三种不同的并行方式,但这三种方式对互联有不同的要求。”郑纬民表示,“只有把通信做好,大模型才能顺畅跑通。”

 

三是体系结构感知的内存平衡设计。通俗而言,大模型在训练过程中使用的大量数据会产生大量的内存访问请求;对内存平衡的优化,目的是提升模型访存性能,从而提高模型训练效率。

 

四是输入输出子系统平衡设计。郑纬民指出,机器在执行大规模训练任务时,发生硬件、软件错误在所难免。针对这样的情况,容错检查点成为了大模型训练中的一道“保险闸”。容错检查点设置不足,会导致模型训练效率降低;检查设置过于频繁,则会浪费大量时间和存储空间。因此,优化检查点存储在大模型训练中的重要性不言而喻。

 

“以上四点平衡的问题得到解决,AI大模型将实现快速发展。”郑纬民总结道。

 

(来源:中国电子报)