中新网北京6月3日电 (记者 夏(xia)宾)近年来，为了追求大模型的智慧能力，各国(guo)公司不停加码投入，4月，Meta宣布追加10亿美元投资，用于其AI芯片研发和AI数据中心建(jian)设；亚马逊为了建(jian)设新数据中心投入110亿美元。但在大模型扩张的背后，算力代价、能源(yuan)代价同样巨大。
有业界技(ji)术团(tuan)队测算，若要对一个5000亿参数规(gui)模的单体大模型进行充分(fen)训(xun)练，所需算力基础(chu)设施约在10亿美元规(gui)模，每年消耗(hao)的电费在5.3亿元人民币(bi)。无论对于哪个机(ji)构、企业，这都(dou)是天文(wen)数字和巨大代价，中国(guo)也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文(wen)章，《In Al, is bigger always better?》(人工智能，越大型越好？)。争议的出现，意味(wei)着AI发展方向(xiang)出现了分(fen)歧。
如(ru)今，“大”不再是模型的唯一追求，计算效率和算力开销两大问题成为新的行业焦(jiao)点(dian)。
对大模型推(tui)理成本的优化，可通过很多技(ji)术手段实现。首先是模型本身(shen)，模型结构、训(xun)练方法(fa)都(dou)可以持续改进，包括(kuo)业界很关注的MoE(混合专家模型)，就是优化推(tui)理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大，优化推(tui)理成本的空间也越大。以前的模型都(dou)是单机(ji)推(tui)理，大模型用的是分(fen)布式推(tui)理。所以如(ru)果能把各种各样底层算力用得更好，推(tui)理成本就会大大降低。
MoE大模型的盛行，实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众(zhong)多大模型厂商如(ru)OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从(cong)浪潮信息发布的“源(yuan)2.0-M32”开源(yuan)大模型来看，其基于“源(yuan)2.0”系列大模型已有工作基础(chu)，创新提出和采用了“基于注意力机(ji)制的门(men)控(kong)网络”技(ji)术，构建(jian)包含32个专家(Expert)的混合专家模型(MoE)，并大幅(fu)提升了模型算力效率，模型运(yun)行时激活参数为37亿，在业界主流基准评测中性能全(quan)面对标700亿参数的LLaMA3开源(yuan)大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访(fang)时说，我(wo)们一直在想如(ru)何以更低的算力消耗(hao)，提高整个大模型的应用效果，能让企业、机(ji)构以更小的算力代价去获得更高的模型能力。“这可能是中国(guo)发展自己(ji)的AI大模型比较行之有效的路径。”
他直言，大模型推(tui)进速度越来越快(kuai)，必须强调模型算力效率。“大家可以想象，效率越高就意味(wei)着在单位(wei)算力投入相(xiang)等的情况下获得的精度回报越高，它对于训(xun)练和应用都(dou)非常有利。”
“现实的算力是有限的，我(wo)们一再反复强调模算效率，试图针对当(dang)前算力情况闯出一条自己(ji)觉得比较好的路子。在固定每个Token算力不变的情况下，通过扩展专家数量可以获得更大参数量的模型，进而获得更高精度。”吴韶华说。
他进一步称，整体来看，尽管(guan)当(dang)前模型的能力提升非常之快(kuai)，但之前大家更多关注单个维度问题，即平均精度的提升。但大模型进入快(kuai)速落地时代，就不得不考虑更多维度的问题，包括(kuo)模算效率、精度、算力开销等。
中国(guo)工程院院士郑(zheng)纬(wei)民曾做(zuo)过这样的计算，在大模型训(xun)练过程中，70%开销要花在算力上；推(tui)理过程中95%的花费也是在算力上。
为解决大模型训(xun)练的算力不足问题，郑(zheng)纬(wei)民建(jian)议，在推(tui)动智能计算中心建(jian)设同时也可以利用已有超算系统(tong)的空余算力。
郑(zheng)纬(wei)民表示，现有14个国(guo)家挂牌的超算系统(tong)，每台机(ji)器的建(jian)设成本都(dou)很高，成本在10亿元至(zhi)20亿元，甚(shen)至(zhi)更高。这些超算系统(tong)已经(jing)为中国(guo)的国(guo)民经(jing)济发展作出巨大贡献，但有些系统(tong)还有空余算力，这些空余算力也可被用来做(zuo)大模型训(xun)练，且经(jing)过优化甚(shen)至(zhi)可降低大模型训(xun)练成本。
对于近期中国(guo)企业的一轮(lun)大模型降价，零一万物CEO李开复表示，未来整个行业的推(tui)理成本每年降低十倍是可以期待的，且这个趋势是必然的，如(ru)此会有更多人用上大模型，这是非常利好的消息。(完)