觀察員
-
和大模型語音聊天視頻通話？Qwen2.5-Omni開源
3月27日，通義千問Qwen系列中的全新多模態(tài)大模型Qwen2.5-Omni宣布開源。
Qwen2.5-Omni作為通義系列模型中首個(gè)端到端全模態(tài)大模型，可以同時(shí)處理包括文本、圖像、音頻和視頻等多種輸入，并實(shí)時(shí)合成輸出文本與自然語音。
這意味著，用戶可以和Qwen進(jìn)行語音聊天和視頻通話，有網(wǎng)友對(duì)此表示強(qiáng)烈欣喜。
事實(shí)上，在一系列同等規(guī)模的單模態(tài)模型權(quán)威基準(zhǔn)測(cè)試中，Qwen2.5-Omni在語音生成測(cè)評(píng)分?jǐn)?shù)上達(dá)到了與人類持平的能力，這為該模型在語音和視頻通話的可行性上提供了數(shù)據(jù)層面的支撐。
在具體技術(shù)上，Qwen2.5-Omni采用了通義團(tuán)隊(duì)全新首創(chuàng)的Thinker-Talker雙核架構(gòu)、Position Embedding融合音視頻技術(shù)、位置編碼算法TMRoPE（Time-aligned Multimodal RoPE）。
雙核架構(gòu)Thinker-Talker讓Qwen2.5-Omni擁有了人類的“大腦”和“發(fā)聲器”。Thinker負(fù)責(zé)處理和理解用戶輸入的內(nèi)容，Talker則輸出相應(yīng)的語音標(biāo)記。通過兩者的配合完成了端到端的統(tǒng)一模型架構(gòu)，將實(shí)時(shí)語義理解與語音生成形成協(xié)同。
TMRoPE則通過時(shí)間軸對(duì)齊實(shí)現(xiàn)視頻與音頻輸入的精準(zhǔn)同步，使得模型能夠準(zhǔn)確地捕捉到不同模態(tài)數(shù)據(jù)在時(shí)間維度上的對(duì)應(yīng)關(guān)系，從而為生成連貫、準(zhǔn)確的內(nèi)容。
值得注意的是，Qwen2.5-Omni以7B的小尺寸讓全模態(tài)大模型在產(chǎn)業(yè)上的廣泛應(yīng)用成為可能。用戶在手機(jī)上，也能輕松部署和應(yīng)用Qwen2.5-Omni模型。
目前，開發(fā)者和企業(yè)可免費(fèi)下載商用Qwen2.5-Omni。
本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
標(biāo)簽 Qwen- 責(zé)任編輯: 張睿佳
-
-
中國AI+！自主研發(fā)船體清潔機(jī)器人亮相全球
2025-03-27 13:09 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
張亞東辭任董事長(zhǎng)，綠城中國進(jìn)入“中交時(shí)代”
2025-03-27 10:47 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
-
經(jīng)歷了“不平凡”的一年，農(nóng)夫山泉業(yè)績(jī)挺住了
2025-03-26 22:03 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
凈利177億，但快手慢下來了
2025-03-26 21:46 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
AI與國運(yùn)：中華文明將引領(lǐng)AI時(shí)代
2025-03-26 21:41 -
兩件“國之重器”，同一個(gè)幕后功臣！
2025-03-26 21:38 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
-
-
減持兩家虧損企業(yè)，螞蟻瘦身入賬7.75億元
2025-03-26 17:58 -
菜刀變鐮刀？張小泉大漲后宣布控股股東預(yù)重整
2025-03-26 16:52 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
騰訊新游定檔，或成端游新玩法“大三元”格局
2025-03-26 16:47 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
-
“起大早趕晚集”的谷歌大模型，這次真的“遙遙領(lǐng)先”了？
2025-03-26 15:06 -
胖東來，徹底“透明”
2025-03-26 14:26 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
補(bǔ)稅+罰款，印度要求三星支付44億
2025-03-26 14:04 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
騰訊元寶上線最新DeepSeekV3模型
2025-03-26 13:53 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
相關(guān)推薦 -
“中國行動(dòng)計(jì)劃”重啟？FBI突襲知名華裔教授住宅 評(píng)論 95
“這個(gè)禁令，歐洲企業(yè)也得聽” 評(píng)論 85
萬斯“強(qiáng)登”，丹麥坐不住了 評(píng)論 155
“我們很快會(huì)看到中國救援隊(duì)，而美國卻不見蹤影” 評(píng)論 131
“搶奪中國主導(dǎo)地位，美國快走火入魔了” 評(píng)論 94最新聞 Hot-
“我不在乎漲價(jià)，這樣他們就會(huì)買美國車了”
-
“這個(gè)禁令，歐洲企業(yè)也得聽”
-
“牢記二戰(zhàn)日軍士兵勇敢精神”？美防長(zhǎng)又被噴了
-
上個(gè)任期自己簽的協(xié)議，特朗普可能也不認(rèn)了
-
萬斯“強(qiáng)登”，丹麥坐不住了
-
美防長(zhǎng)秘密文件曝光，又沖中國來
-
“我們很快會(huì)看到中國救援隊(duì)，而美國卻不見蹤影”
-
離大譜！美防長(zhǎng)“迷惑行為”再+1
-
“搶奪中國主導(dǎo)地位，美國快走火入魔了”
-
丹麥忍無可忍，“怎么說話呢！”
-
尹錫悅“最后一搏”？文在寅遭檢方傳喚
-
《自然》調(diào)查：超75%在美科研人員想“run”
-
果然，“歐盟沒硬起來”
-
美國達(dá)美航空一客機(jī)與軍機(jī)差點(diǎn)又撞……
-
美準(zhǔn)空軍部長(zhǎng)：中國留給我們的時(shí)間不多了…
-
無語！不讓來硬來，還拿中俄做借口
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報(bào)鏈接
- 舉報(bào)制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號(hào)-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號(hào) 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號(hào)
增值電信業(yè)務(wù)經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報(bào)電話：021-62376571
滬公網(wǎng)安備 31010502000027號(hào)
中國互聯(lián)網(wǎng)舉報(bào)中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報(bào)中心
