大模型中的第一(yi)性原理Scaling Laws（尺度定(ding)律(lu)）会不会失效？用更多计算和数据是不是就可以让(rang)模型增加智慧？人人都在谈(tan)论AGI，但AGI的定(ding)义(yi)到底(di)是什么？
在6月14日举行的2024北(bei)京智源大会上，来自五家当红大模型创业企业CEO以及清华大学智能产业研究院院长、智源学术顾问委员张亚勤发表了他们对于上述大模型热点问题的观点。
2024北(bei)京智源大会，大模型CEO纷纷亮(liang)相。
零一(yi)万物CEO李开复：Scaling Law已被验(yan)证(zheng)并且尚未达到顶峰。
“大模型的智慧来自于接近无损的压缩。”北(bei)京零一(yi)万物科技有限(xian)公司（简称零一(yi)万物）CEO李开复表示，Scaling Law已被验(yan)证(zheng)有效并且尚未达到顶峰，但利(li)用尺度定(ding)律(lu)不能盲目堆(dui)GPU，仅仅依靠堆(dui)砌更多算力提升(sheng)模型效果，只会导致那些拥有足够多GPU的公司或国(guo)家才能胜出。要(yao)让(rang)模型达到更好的效果，科学和工程缺一(yi)不可。只做工程，不了解第一(yi)性原理，没有数学根据，不知如何评估，即使投入大算力和高成本也做不出好模型。要(yao)有一(yi)套方法(fa)评估大模型训练效果，让(rang)大模型的炼制(zhi)变得更有科学和数学依据。另(ling)一(yi)方面，李开复表示，仅在实验(yan)室里“雕花”就期望做出产品也不可行。“我们的经验(yan)是每一(yi)个做AI、做模型的研究者都要(yao)懂基础设施、懂推理、懂成本，GPU这么昂贵，如果能把一(yi)张GPU当做两张、三张来使用，任何公司都会得到好处。还要(yao)考虑系统化(hua)地做数据工程，数据筛(shai)选非常重要(yao)。”
月之暗面CEO杨植(zhi)麟：Scaling Law会持续演进，方法(fa)可能会发生很大变化(hua)。
“大模型需要(yao)不断提升(sheng)模型的规模，本质(zhi)上是一(yi)个压缩，压缩产生智能。”北(bei)京月之暗面科技有限(xian)公司（简称月之暗面）CEO杨植(zhi)麟表示，Scaling Law没有本质(zhi)问题，只要(yao)有更多算力、数据，模型参数变大，模型就能持续产生更多智能。关键(jian)在于如何高效地实现Scaling Law，“如果只是沿着现在的方法(fa)预测下一(yi)个Token，用和现在完全一(yi)样的数据分布，搞一(yi)堆(dui)网页文(wen)本，上限(xian)是明显(xian)的。Scaling Law并没有定(ding)义(yi)模型是什么样的，比(bi)如要(yao)有多少模态，数据是什么样的，数据是生成出来的还是用网页文(wen)本，所(suo)以Scaling Law会持续演进，只是在这个过程中Scaling Law的方法(fa)可能会发生很大变化(hua)。”
智谱AI CEO张鹏：Scaling Law未来相当一(yi)段时间之内仍会有效，但“有效”是动态概念(nian)。
北(bei)京智谱华章科技有限(xian)公司（简称智谱AI） CEO张鹏表示，Scaling Law还在有效地向前推进，目前为止还未看到Scaling Law失效的预兆。“至于它是否能够帮助我们到达顶峰，现在找不到一(yi)个确切答案，但现阶段它是有效的，未来相当一(yi)段时间之内它仍会有效。”张鹏表示，所(suo)谓(wei)的“有效”是动态概念(nian)，对于Scaling Law，早期关注的是参数量规模，“现在扩展到参数量、数据量、数据质(zhi)量，变成一(yi)种计算量。随(sui)着对规律(lu)的认(ren)知越来越深，规律(lu)的本质(zhi)越来越被揭示，掌握本质(zhi)就能掌握通往未来的钥匙。”
“我更愿意相信(xin)AGI是一(yi)种信(xin)念(nian)，一(yi)个符号，它的内涵(han)外延在不断变化(hua)。把一(yi)个事情说得非常量化(hua)、清晰，内涵(han)是什么，外延是什么，这件事也就那样了，天花板在哪儿大家都能看得到。”张鹏表示，没人能够说清楚AGI，反倒是好事，这说明仍有未知空(kong)间等待(dai)探索。“让(rang)机器像人一(yi)样思考是我们的愿景。当然机器的能力远不止人的水平，我们期待(dai)它可以出现超越人的能力，所(suo)以在AGI里，我们会提到超级智能。下一(yi)步它能否产生超过人的水平？我们会不断更新AGI的内涵(han)和外延。”
百川智能CEO王小川：一(yi)定(ding)要(yao)找到Scaling Law之外新转化(hua)范式。
北(bei)京百川智能科技有限(xian)公司（简称百川智能）CEO王小川认(ren)为，在Scaling Law之外，一(yi)定(ding)要(yao)寻找算力、算法(fa)、数据等范式上的新转化(hua)，而不只是简单变成知识压缩，“走出这个体系才有机会走向AGI。”
AGI的定(ding)义(yi)在全球范围内难有共识。在王小川心中，与AGI等价的是AI能否造出医生，人造医生就是AGI。“AGI的第一(yi)个变化(hua)是它开始有思考能力、学习能力、沟通能力、共情能力，甚至多模态图片处理能力。拿人的职业跟它比(bi)较(jiao)，医生是所(suo)有职业里智力密度最高的，既需要(yao)多模态，也需要(yao)少幻觉，需要(yao)记忆，看70万字的病历，有推理能力、查(cha)文(wen)献能力等。所(suo)以把医生跟AGI做比(bi)较(jiao)时，做到医生是否就算做到AGI了？”
面壁智能CEO李大海(hai)：大模型边际成本为零就是理想中的AGI。
北(bei)京面壁智能科技有限(xian)责任公司（简称面壁智能）CEO李大海(hai)从经济学角度定(ding)义(yi)AGI，他认(ren)为边际成本为零就是理想中的AGI。“随(sui)着模型能力的提升(sheng)，大模型能够把边际成本一(yi)直往下降，可能会逼近于零，低(di)到接近于零的时候，AGI基本就到来了。”与此同时，“智能密度”也是大模型的重要(yao)因素，“当有一(yi)天达到AGI，还要(yao)把大模型小型化(hua)。如果用一(yi)个10万亿参数的模型做到AGI，能否把参数降到1万亿、1000亿，这需要(yao)持续突(tu)破。”
对于Scaling Law，他认(ren)为这是一(yi)个经验(yan)公式，是行业对大模型这样的复杂系统得出的经验(yan)总结，随(sui)着模型训练过程中实验(yan)越来越多、认(ren)知越来越清晰，会有更细颗粒度的认(ren)知。比(bi)如模型训练方法(fa)和数据质(zhi)量对Scaling Law和智能的影响较(jiao)为显(xian)著。
清华大学智能产业研究院院长、智源学术顾问委员张亚勤：Scaling Law还是产业的大方向。
同场参会的清华大学智能产业研究院院长、智源学术顾问委员张亚勤也就Scaling Law发表了自己的看法(fa)，“有人说，Scaling Law两三年后是不是就不成立了？我认(ren)为至少将来5年左右，Scaling Law还是产业的大方向。相比(bi)只有3斤重、能耗20瓦的大脑，当前大模型决策效率低(di)。不管是微(wei)软、OpenAI还是当前的主流大模型，仍处于采购英伟达芯片的阶段，只有提高大模型效率才能建立真(zhen)正的商业模式。”张亚勤认(ren)为，当前的大模型尚未真(zhen)正理解物理世界(jie)，推理性能、幻觉、透明性等问题有待(dai)解决，未来5年会有一(yi)个全新的架构替代(dai)现在的Transformer和Diffusion架构。