郑纬民：AI大模型基础设施亟待优化

在12月13日召开的第二届数据安全治理年会上，中国工程院院士郑纬民表示，我国人工智能基础设施亟待优化，应从软硬件两方面突破瓶颈。

我国人工智能产业面临软硬件两方面瓶颈

在会上，郑纬民提出了算力“三大定律”：人类已经进入以算力为核心生产力的数字经济时代，算力就是生产力，这是“时代定律”；当下，算力每12个月就增长一倍，算力资源增速显著，已经打破摩尔定律，这是“增长定律”；算力每投入1元，就带动3~4元GDP经济增长，这是“经济定律”。

近年来，我国人工智能产业发展呈指数级增长。郑纬民表示，预计到2025年，中国人工智能产业规模将超过4500亿元，带动产生间接经济效益超1.6万亿元。

郑纬民直言，我国人工智能产业正面临着软件、硬件两方面的瓶颈。

从硬件角度看，一方面，我国国产芯片产量不足。郑纬民表示，2021年，我国人工智能服务器芯片总用量100万片，其中，美国英伟达市场份额高达95%左右。

从软件角度看，我国在算法等技术方面发展仍然有所欠缺，当前，谷歌和Meta的人工智能算法开发框架占中国人工智能市场份额的90%以上。

郑纬民坦言，要解决当下面临的问题，一是营造完善的人工智能服务器硬件生态，二是优化人工智能大模型基础设施架构。

“4个平衡”优化大模型基础设施

郑纬民强调，在设计大模型基础设施时，要思考“4个平衡”的优化问题。

一是半精度运算性能与双精度运算性能的平衡设计。在计算机系统的内存中，半精度、单精度和双精度是决定数据计算精确度的度量标准，双精度比半精度更精密，但同时要占据更多存储空间。郑纬民提出，大模型设计中不仅要考虑16位的半精度运算性能，还要考虑支持64位的双精度运算。他表示，最优的双精度与半精度运算性能比为1:100。

二是网络平衡设计。郑纬民指出，在网络设计方面，高带宽、低延迟的网络是极大规模预训练模型运行的必要条件。“在训练过程中，我们采用数据并行、模型并行和专家并行三种不同的并行方式，但这三种方式对互联有不同的要求。”郑纬民表示，“只有把通信做好，大模型才能顺畅跑通。”

三是体系结构感知的内存平衡设计。通俗而言，大模型在训练过程中使用的大量数据会产生大量的内存访问请求；对内存平衡的优化，目的是提升模型访存性能，从而提高模型训练效率。

四是输入输出子系统平衡设计。郑纬民指出，机器在执行大规模训练任务时，发生硬件、软件错误在所难免。针对这样的情况，容错检查点成为了大模型训练中的一道“保险闸”。容错检查点设置不足，会导致模型训练效率降低；检查设置过于频繁，则会浪费大量时间和存储空间。因此，优化检查点存储在大模型训练中的重要性不言而喻。

“以上四点平衡的问题得到解决，AI大模型将实现快速发展。”郑纬民总结道。

（来源：中国电子报）