文/觀察者網(wǎng) 周毅 編輯 張廣凱

5月14日，騰訊宣布旗下混元文生圖大模型全面升級(jí)并對(duì)外開(kāi)源。據(jù)悉，這是業(yè)內(nèi)首個(gè)中文原生的DiT架構(gòu)文生圖開(kāi)源模型。它支持中英文雙語(yǔ)輸入及理解，參數(shù)量15億。目前，該大模型已在Hugging Face平臺(tái)和Github上發(fā)布，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供企業(yè)與個(gè)人開(kāi)發(fā)者免費(fèi)商用。

不同模型在圖文一致性等方面的表現(xiàn) 圖源Hugging Face

騰訊混元文生圖負(fù)責(zé)人蘆清林對(duì)觀察者網(wǎng)表示，提升技術(shù)能力和更廣泛的應(yīng)用，是該大模型未來(lái)的兩個(gè)方向。

“從技術(shù)能力的提升來(lái)說(shuō)，如何讓圖片生成的速度更快，生成的質(zhì)量更好，是我們永遠(yuǎn)都會(huì)追求的一個(gè)技術(shù)方向，它似乎是沒(méi)有止境的?！碧J清林表示，項(xiàng)目團(tuán)隊(duì)也希望該大模型，能在騰訊內(nèi)外更廣泛的業(yè)務(wù)場(chǎng)景應(yīng)用起來(lái)。事實(shí)上，從去年開(kāi)始，騰訊混元文生圖就和騰訊的廣告業(yè)務(wù)進(jìn)行了一些協(xié)作。

“今年會(huì)跟社交業(yè)務(wù)，包括QQ、企業(yè)微信等很多業(yè)務(wù)場(chǎng)景做聯(lián)動(dòng)。跟他們合作做一些新的技術(shù)能力。”蘆清林透露，同時(shí)，該大模型也會(huì)跟騰訊游戲做一些深入的技術(shù)合作，希望能夠在美術(shù)場(chǎng)景中應(yīng)用起來(lái)。包括QQ音樂(lè)等在內(nèi)，也都是該大模型未來(lái)將會(huì)提供支撐的業(yè)務(wù)場(chǎng)景。

大模型的優(yōu)異表現(xiàn)，往往離不開(kāi)先進(jìn)的技術(shù)架構(gòu)。過(guò)去，視覺(jué)生成擴(kuò)散模型主要基于U-Net架構(gòu)，但隨著參數(shù)量的提升，基于Transformer架構(gòu)的擴(kuò)散模型展現(xiàn)出了更好的擴(kuò)展性，有助于進(jìn)一步提升模型的生成質(zhì)量及效率。升級(jí)后的騰訊混元文生圖大模型采用了全新的DiT架構(gòu)（即Diffusion With Transformer），這也是Sora和Stable Diffusion 3的同款架構(gòu)和關(guān)鍵技術(shù)，它就是一種基于Transformer架構(gòu)的擴(kuò)散模型。

公開(kāi)資料顯示，在DiT架構(gòu)的基礎(chǔ)之上，騰訊混元文生圖大模型還在算法層面優(yōu)化了模型的長(zhǎng)文本理解能力，能夠支持最多256字符的內(nèi)容輸入，同時(shí)賦予其多輪生圖和對(duì)話能力：在一張初始生成圖片的基礎(chǔ)上，用戶通過(guò)自然語(yǔ)言描述，即可對(duì)其進(jìn)行調(diào)整。

用戶通過(guò)“對(duì)話”，即可調(diào)整文生圖的具體內(nèi)容 測(cè)試截圖

此外，“中文原生”也是騰訊混元文生圖大模型的一大亮點(diǎn)，此前，像Stable Diffusion等主流開(kāi)源模型核心數(shù)據(jù)集以英文為主，對(duì)中國(guó)的語(yǔ)言、美食、文化、習(xí)俗理解有限。作為首個(gè)中文原生的DiT模型，混元文生圖具備中英文雙語(yǔ)理解及生成能力，在古詩(shī)詞、俚語(yǔ)、傳統(tǒng)建筑、中華美食等中國(guó)元素的生成上表現(xiàn)出色。

混元文生圖大模型的部分能力展示 圖源Hugging Face

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。