-
阿里云開源通義千問140億參數(shù)模型
(編輯/呂棟)
9月25日,阿里云開源通義千問140億參數(shù)模型Qwen-14B及其對話模型Qwen-14B-Chat,免費(fèi)可商用。據(jù)介紹,Qwen-14B在多個權(quán)威評測中超越同等規(guī)模模型,部分指標(biāo)接近Llama2-70B。就在一個多月前,阿里云開源70億參數(shù)模型Qwen-7B等,下載量已破百萬。
Qwen-14B是一款支持多種語言的高性能開源模型,相比同類模型使用了更多的高質(zhì)量數(shù)據(jù),整體訓(xùn)練數(shù)據(jù)超過3萬億Token,使得模型具備更強(qiáng)大的推理、認(rèn)知、規(guī)劃和記憶能力。Qwen-14B最大支持8k的上下文窗口長度。Qwen-14B-Chat是在基座模型上經(jīng)過精細(xì)SFT得到的對話模型。借助基座模型性能,Qwen-14B-Chat生成內(nèi)容的準(zhǔn)確度大幅提升。
Qwen-14B在十二個權(quán)威測評中全方位超越同規(guī)模SOTA大模型
阿里云表示,Qwen擁有出色的工具調(diào)用能力,能讓開發(fā)者更快地構(gòu)建基于Qwen的Agent(智能體)。開發(fā)者可用簡單指令教會Qwen使用復(fù)雜工具,比如使用Code Interpreter工具執(zhí)行Python代碼以進(jìn)行復(fù)雜的數(shù)學(xué)計算、數(shù)據(jù)分析、圖表繪制等;還能開發(fā)具有多文檔問答、長文寫作等能力的“高級數(shù)字助理”。
百億以內(nèi)參數(shù)級別大語言模型是目前開發(fā)者進(jìn)行應(yīng)用開發(fā)和迭代的主流選擇。阿里云透露,Qwen-14B進(jìn)一步提高了小尺寸模型的性能上限,在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12個權(quán)威測評中取得最優(yōu)成績,超越所有測評中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,比起Llama 2的34B、70B模型也并不遜色。與此同時,Qwen-7B也全新升級,核心指標(biāo)最高提升22.5%。
Qwen-14B性能超越同尺寸模型
目前,開源是國產(chǎn)大模型的主流選擇?!吨袊斯ぶ悄艽竽P偷貓D研究報告》顯示,超過一半國內(nèi)發(fā)布的大模型已實現(xiàn)開源,并朝著通用類大模型和垂直領(lǐng)域的專業(yè)類大模型兩個方向加速迭代。除了通義千問外,由王小川創(chuàng)立的人工智能創(chuàng)新科技公司百川智能也在一個月間將通用類開源模型參數(shù)規(guī)模翻倍。其在今年6月推出70億規(guī)模參數(shù)的Baichuan-7B開源模型后,又在7月開源擁有130億的參數(shù)規(guī)模的Baichuan-13B模型。
專業(yè)類大模型則受行業(yè)數(shù)據(jù)、適用程度等制約,開源模型參數(shù)規(guī)模差異較大。在搜索場景,知乎已于今年5月開源有100億參數(shù)規(guī)模的CPM-Bee 10b。而在金融行業(yè),度小滿在9月才開源擁有70B參數(shù)量級和上下文長度可達(dá)8k以上的金融大模型“軒轅70B”。
有業(yè)內(nèi)人士指出,在一些垂直領(lǐng)域并不需要參數(shù)量很高、通用能力很強(qiáng)的模型,幾十到百億左右參數(shù)規(guī)模的模型,結(jié)合垂直領(lǐng)域數(shù)據(jù),就可以發(fā)揮很好的價值。對行業(yè)而言,開源大模型可以幫助用戶簡化模型訓(xùn)練和部署的過程,用戶不必從頭訓(xùn)練,只需下載預(yù)訓(xùn)練好的模型并進(jìn)行微調(diào),就可快速構(gòu)建高質(zhì)量模型。這正是開源大模型推動各行業(yè)發(fā)展的底層因素。
阿里云CTO周靖人表示,阿里云將持續(xù)擁抱開源開放,推動中國大模型生態(tài)建設(shè)。阿里云還牽頭建設(shè)了中國最大的AI模型開源社區(qū)魔搭ModelScope。過去兩個月內(nèi),魔搭社區(qū)的模型下載量從4500萬飆升到8500萬,增幅接近100%。
- 責(zé)任編輯: 林鈴錦 
-
?余承東:鴻蒙原生應(yīng)用全面啟動
2023-09-26 13:23 觀網(wǎng)財經(jīng)-科創(chuàng) -
我國科研人員研制出仿生低碳新型建筑材料
2023-09-24 14:17 科技前沿 -
“AI使目前形勢變得更加復(fù)雜,中美必須開展對話”
2023-09-23 15:37 中美關(guān)系 -
我國發(fā)起的蛋白質(zhì)組大科學(xué)計劃國際總部成立
2023-09-23 14:45 醫(yī)學(xué) -
清華全球碳中和年度進(jìn)展報告:中國得分全球第五
2023-09-23 08:10 綠水青山就是金山銀山 -
泰國與華為合作:共同開發(fā)泰國盤古氣象大模型
2023-09-22 11:30 觀網(wǎng)財經(jīng)-科創(chuàng) -
諾獎劍指AI?谷歌蛋白質(zhì)結(jié)構(gòu)預(yù)測模型獲2023年拉斯克獎
2023-09-22 09:22 醫(yī)學(xué) -
我國科學(xué)家制備出全分散微球材料,可從廢水中回收染料
2023-09-22 07:21 科技前沿 -
國產(chǎn)貓用疫苗實現(xiàn)零的突破
2023-09-22 07:09 醫(yī)學(xué) -
吉林一號高分04B星發(fā)射失利
2023-09-21 20:16 航空航天 -
中國空間站第四次太空授課活動取得圓滿成功
2023-09-21 16:49 中西教育 -
“天宮課堂”第四課開課
2023-09-21 15:45 航空航天 -
國內(nèi)首所空天信息大學(xué)獲批籌建!落地濟(jì)南
2023-09-21 14:18 中西教育 -
就在今天 ,百城市長聚在一起探討大模型如何落地城市
2023-09-20 18:54 -
全球最大射電望遠(yuǎn)鏡陣列首臺中頻天線正式吊裝
2023-09-20 15:44 科技前沿 -
我國去年研發(fā)經(jīng)費(fèi)投入破3萬億,電子信息制造業(yè)超4千億
2023-09-20 08:43 觀網(wǎng)財經(jīng)-科創(chuàng) -
國際奧委會CITO:杭州亞運(yùn)會用云計算創(chuàng)造歷史
2023-09-19 18:17 亞運(yùn)經(jīng)濟(jì) -
去年長三角一市三省研發(fā)經(jīng)費(fèi)9386億元,占全國30.5%
2023-09-19 17:37 -
我國科研團(tuán)隊為高密度大容量存儲器件提供新思路
2023-09-19 07:44 科技前沿 -
我國科學(xué)家提出DNA數(shù)字存儲糾錯新算法
2023-09-19 07:39 科技前沿
相關(guān)推薦 -
解放日?“對于市場而言這是‘屠戮日’” 評論 0“中國對美反制,巴西看到了機(jī)會” 評論 36“眾叛親離!要是再發(fā)生911,誰還同情美國人?” 評論 215她對美放狠話,還提到歐盟的“實力地位” 評論 274最新聞 Hot
-
解放日?“對于市場而言這是‘屠戮日’”
-
交割日已到,香港各界再批:長和“賣港”不得人心
-
魯比奧警告歐盟:不要將美國排除在外
-
又?jǐn)偵鲜铝?,這回還有華爾茲
-
“世界變了”,加拿大汽車零部件巨頭瞄準(zhǔn)中國市場
-
德外長插一腳:美烏能不能簽,先得給歐盟“掌掌眼”
-
候任美軍參聯(lián)會主席炒作:若與中國打持久戰(zhàn),我們還有很多不足
-
知名華裔教授失聯(lián)兩周?“異常而危險的信號”
-
“中國對美反制,巴西看到了機(jī)會”
-
共和黨人也不滿關(guān)稅,“長期來看,我們都會死”
-
韓網(wǎng)民強(qiáng)扯“中國間諜”喊美軍介入,駐韓美軍急了
-
美國航運(yùn)巨頭發(fā)話:我們有很多中國船,這錢得美國人掏
-
馬斯克狂撒2500萬,這場“會改變西方文明進(jìn)程”的選舉還是輸了
-
俄高官有望沖突后首次訪美,“美方暫時解除制裁”
-
美防長稱日本是“前線”,日媒急了
-
美國兩黨拿出對俄制裁草案:征500%二級關(guān)稅
-