近(jin)日，在上海世界人工智能大(da)会期间，国产GPU创(chuang)企摩尔线(xian)程宣(xuan)布对其夸娥（KUAE）智算集群解决方案进行重大(da)升级，从(cong)当前千卡级别大(da)幅扩展(zhan)至万卡规模(mo)。该集群以全功能GPU为底座，旨(zhi)在打造能够承载万卡规模(mo)、具备万P级浮点运算能力的国产通用加(jia)速计算平(ping)台。
摩尔线(xian)程创(chuang)始人兼CEO张建中(zhong)向观察(cha)者网表(biao)示，相(xiang)信通用人工智能（AGI）一定会到来(lai)。之前没有万卡集群，有些模(mo)型在千卡集群上无法训练(lian)出来(lai)，“当万卡集群建起来(lai)，Scaling（扩展(zhan)性）往上走，准(zhun)确度、精度、IQ能力都(dou)在提升的话，有了实际价值，就会建下一个集群。”
在现场(chang)，摩尔线(xian)程联合中(zhong)国移(yi)动通信集团(tuan)青海有限公司(si)、中(zhong)国联通青海公司(si)、北京德道信科集团(tuan)、中(zhong)国能源建设股份有限公司(si)总承包公司(si)、桂林华崛大(da)数据科技有限公司(si)等(deng)，分(fen)别就三个万卡集群项(xiang)目进行了战略签(qian)约，多方将聚力共(gong)同构建好用的国产GPU集群。
摩尔线(xian)程CEO张建中(zhong) 图源：观察(cha)者网
万卡集群已成入场(chang)券
大(da)模(mo)型自问世以来(lai)，关于其未来(lai)的走向和发(fa)展(zhan)趋势亟(ji)待时间验证，但从(cong)当前来(lai)看，几种演进趋势值得(de)关注，使得(de)其对算力的核心需求也(ye)愈发(fa)明晰。
首先，Scaling Law将持续奏效。Scaling Law自2020年提出以来(lai)，已揭(jie)示了大(da)模(mo)型发(fa)展(zhan)背后的“暴力美(mei)学”，即通过算力、算法、数据的深度融合与经验积累，实现模(mo)型性能的飞跃，这也(ye)成为业界公认的将持续影响未来(lai)大(da)模(mo)型的发(fa)展(zhan)趋势。Scaling Law将持续奏效，需要单点规模(mo)够大(da)并(bing)且通用的算力才能快速跟(gen)上技术演进。
其次，Transformer架构不能实现大(da)一统，和其他架构会持续演进并(bing)共(gong)存(cun)，形成多元化的技术生态。生成式(shi)AI的进化并(bing)非仅依(yi)赖于规模(mo)的简单膨胀，技术架构的革新同样至关重要。
Transformer架构虽(sui)然是当前主(zhu)流(liu)，但新兴架构如Mamba、RWKV和RetNet等(deng)不断刷新计算效率，加(jia)快创(chuang)新速度。随着技术迭代与演进，Transformer架构并(bing)不能实现大(da)一统，从(cong)稠(chou)密到稀(xi)疏(shu)模(mo)型，再(zai)到多模(mo)态模(mo)型的融合，技术的进步都(dou)展(zhan)现了对更高性能计算资(zi)源的渴望(wang)。
与此同时，AI、3D和HPC跨技术与跨领域融合不断加(jia)速，推动着空间智能、物理AI和AI 4Science、世界模(mo)型等(deng)领域的边界拓(tuo)展(zhan)，使得(de)大(da)模(mo)型的训练(lian)和应用环境更加(jia)复杂多元，市场(chang)对于能够支持AI+3D、AI+物理仿真(zhen)、AI+科学计算等(deng)多元计算融合发(fa)展(zhan)的通用加(jia)速计算平(ping)台的需求日益迫切。
多元趋势下，AI模(mo)型训练(lian)的主(zhu)战场(chang)，万卡已是标配(pei)。随着计算量不断攀升，大(da)模(mo)型训练(lian)亟(ji)需超(chao)级工厂，即一个“大(da)且通用”的加(jia)速计算平(ping)台，以缩短(duan)训练(lian)时间，实现模(mo)型能力的快速迭代。当前，国际科技巨头都(dou)在通过积极部署千卡乃(nai)至超(chao)万卡规模(mo)的计算集群，以确保大(da)模(mo)型产品的竞(jing)争力。随着模(mo)型参(can)数量从(cong)千亿迈向万亿，模(mo)型能力更加(jia)泛化，大(da)模(mo)型对底层算力的诉求进一步升级，万卡甚至超(chao)万卡集群成为这一轮大(da)模(mo)型竞(jing)赛(sai)的入场(chang)券。
然而构建万卡集群并(bing)非一万张GPU卡的简单堆叠，而是一项(xiang)高度复杂的系统工程。
摩尔线(xian)程CEO张建中(zhong)对观察(cha)者网表(biao)示，算力集群不光是一个计算GPU，怎么把它组织成一个大(da)的网络，相(xiang)互之间的通讯效率还可以更高，去满足MFU（算力利用率）达到60%的最优目标，这要靠网络通讯、计算存(cun)储一起来(lai)解决。“只有软(ruan)硬件结合，才能把整个集群算力发(fa)挥到最高。否(fou)则用户买了一万卡，可能还没有2000卡的效率高，那规模(mo)上就没有效果了。”
摩尔线(xian)程GPU 图源：观察(cha)者网
能否(fou)打破英伟达一家独(du)大(da)？
据摩尔线(xian)程介(jie)绍，夸娥（KUAE）是该公司(si)的智算中(zhong)心全栈解决方案，以全功能GPU为底座，软(ruan)硬一体化、完整的系统级算力解决方案，包括以夸娥计算集群为核心的基础设施(shi)、夸娥集群管理平(ping)台（KUAE Platform）以及(ji)夸娥大(da)模(mo)型服务平(ping)台（KUAE ModelStudio）等(deng)。
基于对AI算力需求的深刻洞察(cha)和前瞻性布局，摩尔线(xian)程夸娥智算集群可实现从(cong)千卡至万卡集群的无缝扩展(zhan)，旨(zhi)在满足大(da)模(mo)型时代对于算力“规模(mo)够大(da)+计算通用+生态兼容”的核心需求，整合了超(chao)大(da)规模(mo)的GPU万卡集群、极致(zhi)的计算效率优化以及(ji)高度稳定的运行环境。
“我们(men)现在万卡集群还没有搭建，已经在用的是千卡级集群。当用户要在我们(men)的千卡上训练(lian)一个大(da)模(mo)型时，如果是已经适(shi)配(pei)过的，基本上不需要做任何(he)工作。如果是第一次适(shi)配(pei)，可能当天或者几个小时之内就可以在我们(men)的平(ping)台上跑起来(lai)，但是性能调优是一个比较花时间的工作，因为不同模(mo)型使用方法不一样，国外不同的芯片厂策略不一样。”张建中(zhong)说道。
“我们(men)的产品跟(gen)国内外主(zhu)流(liu)生态在兼容性方面做的很好，开发(fa)者移(yi)植到夸娥集群上，几乎(hu)不需要修改代码，迁移(yi)成本接(jie)近(jin)0，可以在数小时之内完成迁移(yi)。当然用户可能需要花数天时间去调优性能，但整体迁移(yi)成本很低，并(bing)不需要几周(zhou)时间。”摩尔线(xian)程CTO张钰勃补充称。
当前，国产GPU的主(zhu)要策略就是先兼容英伟达CUDA生态，把用户迁移(yi)成本尽量降低，那在这种举(ju)措下，像摩尔线(xian)程、天数智芯等(deng)国产GPU，能否(fou)打破英伟达一家独(du)大(da)？
“这是一个很难回(hui)答(da)的问题，首先在美(mei)国，那么多公司(si)抢不到英伟达的份额，说明英伟达还是很强的，用户是用脚投票(piao)的。但在国内不一定，因为某些原因受限，这样国产GPU就有机(ji)会。所以我相(xiang)信中(zhong)国市场(chang)格局和美(mei)国可能会完全不一样。”张建中(zhong)对观察(cha)者网说道。
在发(fa)布会现场(chang)，摩尔线(xian)程携手中(zhong)国移(yi)动通信集团(tuan)青海有限公司(si)等(deng)，分(fen)别就青海零碳(tan)产业园万卡集群项(xiang)目、青海高原夸娥万卡集群项(xiang)目、广西东盟万卡集群项(xiang)目战略签(qian)约。发(fa)布会后，无问芯穹、清程极智、360、京东云(yun)、智平(ping)方等(deng)五家企业登台，分(fen)享了摩尔线(xian)程夸娥智算集群如何(he)助力其在大(da)模(mo)型训练(lian)、大(da)模(mo)型推理、具身智能等(deng)不同场(chang)景和领域的创(chuang)新。