文/观察(cha)者网 周毅(yi) 编辑 张广(guang)凯
5月(yue)14日(ri)，腾讯宣布旗(qi)下(xia)混元(yuan)文生图大(da)模型全面升级并对外开(kai)源。据悉，这是(shi)业内首个中(zhong)文原生的DiT架构文生图开(kai)源模型。它支持中(zhong)英文双语输入及理解，参数量15亿(yi)。目前，该(gai)大(da)模型已(yi)在Hugging Face平台和Github上(shang)发布，包含(han)模型权(quan)重、推(tui)理代码、模型算法等完整(zheng)模型，可供企业与个人开(kai)发者免费商用。
不同模型在图文一致性等方面的表现 图源Hugging Face
腾讯混元(yuan)文生图负责人芦清林对观察(cha)者网表示，提升技(ji)术能力和更广(guang)泛的应用，是(shi)该(gai)大(da)模型未来的两(liang)个方向。
“从技(ji)术能力的提升来说，如何(he)让图片生成的速度更快，生成的质量更好，是(shi)我(wo)们永远(yuan)都会追(zhui)求的一个技(ji)术方向，它似乎是(shi)没有止境的。”芦清林表示，项目团队也希望该(gai)大(da)模型，能在腾讯内外更广(guang)泛的业务场景应用起来。事实上(shang)，从去年(nian)开(kai)始(shi)，腾讯混元(yuan)文生图就和腾讯的广(guang)告业务进行了一些协作(zuo)。
“今年(nian)会跟社交业务，包括QQ、企业微信(xin)等很多业务场景做联动。跟他(ta)们合作(zuo)做一些新的技(ji)术能力。”芦清林透露，同时，该(gai)大(da)模型也会跟腾讯游戏做一些深入的技(ji)术合作(zuo)，希望能够(gou)在美术场景中(zhong)应用起来。包括QQ音(yin)乐等在内，也都是(shi)该(gai)大(da)模型未来将会提供支撑的业务场景。
大(da)模型的优异表现，往往离不开(kai)先进的技(ji)术架构。过去，视觉生成扩散(san)模型主要基于U-Net架构，但随着参数量的提升，基于Transformer架构的扩散(san)模型展现出(chu)了更好的扩展性，有助于进一步(bu)提升模型的生成质量及效(xiao)率。升级后(hou)的腾讯混元(yuan)文生图大(da)模型采用了全新的DiT架构（即(ji)Diffusion With Transformer），这也是(shi)Sora和Stable Diffusion 3的同款架构和关键技(ji)术，它就是(shi)一种基于Transformer架构的扩散(san)模型。
公开(kai)资料显示，在DiT架构的基础之上(shang)，腾讯混元(yuan)文生图大(da)模型还在算法层面优化了模型的长文本理解能力，能够(gou)支持最多256字符(fu)的内容输入，同时赋予其多轮生图和对话能力：在一张初始(shi)生成图片的基础上(shang)，用户通过自然语言(yan)描述(shu)，即(ji)可对其进行调(diao)整(zheng)。
用户通过“对话”，即(ji)可调(diao)整(zheng)文生图的具体内容 测试截图
此外，“中(zhong)文原生”也是(shi)腾讯混元(yuan)文生图大(da)模型的一大(da)亮点，此前，像Stable Diffusion等主流开(kai)源模型核心数据集(ji)以英文为主，对中(zhong)国的语言(yan)、美食(shi)、文化、习(xi)俗理解有限。作(zuo)为首个中(zhong)文原生的DiT模型，混元(yuan)文生图具备中(zhong)英文双语理解及生成能力，在古诗词、俚语、传统建筑、中(zhong)华(hua)美食(shi)等中(zhong)国元(yuan)素的生成上(shang)表现出(chu)色。
混元(yuan)文生图大(da)模型的部分能力展示 图源Hugging Face