-
“如果DeepSeek靠蒸餾為啥要怕?”“不,中國(guó)是迭代者”
-
楊蓉yangrong@guancha.cn
在他看來(lái),中國(guó)確實(shí)尚未在科學(xué)突破方面超越美國(guó),如率先推出mRNA疫苗、ChatGPT、iPhone等,“但中國(guó)所做的是,通過(guò)其強(qiáng)大的制造實(shí)力,在這些創(chuàng)新的基礎(chǔ)上進(jìn)行迭代,使其產(chǎn)品更好、更快、更便宜,而這一過(guò)程正通過(guò)DeepSeek-R1展現(xiàn)在我們眼前”。
戴維·林本月早些時(shí)候接受新加坡《海峽時(shí)報(bào)》采訪時(shí)也表示,中美在AI發(fā)展上“已經(jīng)處于并駕齊驅(qū)的狀態(tài)”。他坦言:“如果你在三個(gè)月前問(wèn)我,我還會(huì)說(shuō)我們穩(wěn)穩(wěn)領(lǐng)先,但形勢(shì)變得非常迅速。”
他6日在聽(tīng)證會(huì)上進(jìn)一步強(qiáng)調(diào),DeepSeek公開(kāi)表示其目標(biāo)是努力實(shí)現(xiàn)通用人工智能(AGI),這一愿景表明了中國(guó)“在AI領(lǐng)域的雄心壯志”。AGI是指具備像人類一樣的智能水平,能夠理解、學(xué)習(xí)、適應(yīng)、推理,并在不同領(lǐng)域自主執(zhí)行任務(wù)的AI系統(tǒng),通常也被視為AI發(fā)展的終極形態(tài)。
戴維·林指出,如今這場(chǎng)AI技術(shù)競(jìng)賽實(shí)質(zhì)上是全球科技主導(dǎo)權(quán)之爭(zhēng)?!斑@是一個(gè)關(guān)于爭(zhēng)奪先發(fā)優(yōu)勢(shì)的問(wèn)題,第一個(gè)實(shí)現(xiàn)AGI的人將在全球經(jīng)濟(jì)、政治及能源供應(yīng)鏈方面帶來(lái)深遠(yuǎn)的下游影響?!?
戴維·林在聽(tīng)證會(huì)上發(fā)言
今年1月,DeepSeek發(fā)布其最新開(kāi)源模型DeepSeek-R1,用較低的成本達(dá)到了接近于美國(guó)OpenAI開(kāi)發(fā)的GPT-o1的性能。這一進(jìn)展破解了全球AI產(chǎn)業(yè)長(zhǎng)期以來(lái)“堆算力”的路徑依賴,其影響波及資本市場(chǎng)。OpenAI隨后公開(kāi)指控DeepSeek通過(guò)“蒸餾”技術(shù)“違規(guī)復(fù)制”其產(chǎn)品功能。
所謂蒸餾的理論核心,就是讓一個(gè)龐大且復(fù)雜的預(yù)訓(xùn)練AI模型充當(dāng)“教師”,來(lái)訓(xùn)練一個(gè)較小的“學(xué)生模型”,后者從“教師模型”學(xué)習(xí)知識(shí),以獲得類似性能,但計(jì)算成本更低。不少專家表示,蒸餾在AI業(yè)內(nèi)是一種常見(jiàn)的做法,但若涉及直接復(fù)制閉源專有模型的輸出結(jié)構(gòu)或參數(shù),可能構(gòu)成侵權(quán)。
前百度全球傳播主管、前AI條線記者托尼·彭(Tony Peng,音)日前在其專欄梳理,“蒸餾”的具體操作方法有很多:如“監(jiān)督微調(diào)”(SFT),即直接使用“教師模型”生成的輸出數(shù)據(jù)來(lái)訓(xùn)練“學(xué)生模型”;或是“模型評(píng)分”,即讓“教師模型”充當(dāng)“評(píng)委”,對(duì)模型輸出進(jìn)行評(píng)分,并訓(xùn)練“學(xué)生模型”更傾向于高分回答;又或是利用“教師模型”為復(fù)雜問(wèn)題生成的多步驟推理鏈,讓“學(xué)生模型”模仿這種長(zhǎng)鏈?zhǔn)剿季S(CoT)的過(guò)程。
根據(jù)DeepSeek自己發(fā)布的技術(shù)文檔,其R1模型在第一階段使用了早期模型R1-Zero的輸出作為冷啟動(dòng)數(shù)據(jù)集,由人工標(biāo)注員優(yōu)化后進(jìn)行訓(xùn)練,并在第二階段繼續(xù)通過(guò)強(qiáng)化學(xué)習(xí)(RL)進(jìn)行優(yōu)化。R1-Zero模型則完全依賴RL,未使用“微調(diào)數(shù)據(jù)集”(fine-tuning datasets)。
此外,DeepSeek去年12月發(fā)布的V3模型是使用對(duì)R1的“知識(shí)蒸餾”等提升了訓(xùn)練效率。技術(shù)文檔稱,DeepSeek-R1作為高級(jí)推理模型,其CoT能力被蒸餾到V3,從而提升V3的推理能力。
考慮到OpenAI尚未提供具體證據(jù),其首席執(zhí)行官奧爾特曼上周又稱“沒(méi)有計(jì)劃”起訴DeepSeek,目前輿論猜測(cè)紛紛。與此同時(shí),也有許多聲音指出,OpenAI提出這一指控本身就頗為“虛偽和諷刺”。
“要知道,ChatGPT在訓(xùn)練過(guò)程中也使用了《福布斯》或《紐約時(shí)報(bào)》的內(nèi)容,這同樣違反了它們的服務(wù)條款?!笨的螤柎髮W(xué)高級(jí)訪問(wèn)講師、曾在谷歌、領(lǐng)英等科技公司從事AI研究的盧茨·芬格(Lutz Finger)說(shuō)。
硅谷內(nèi)部也有人提出反思。金沙江創(chuàng)業(yè)投資(GSR Ventures)合伙人、長(zhǎng)期居住在硅谷的新加坡風(fēng)險(xiǎn)投資人戴維·尹(David Yin,音)對(duì)《海峽時(shí)報(bào)》表示,許多硅谷的AI應(yīng)用公司陷入思維定勢(shì)、缺乏創(chuàng)新,導(dǎo)致其盲目擴(kuò)張,而不是提高效率。
“(在硅谷)當(dāng)有人想給你數(shù)千億美元時(shí),你所想的就是雇更多人、買更多算力,建造自己的‘核電站’”。他說(shuō),“也許中國(guó)的參與者不擅長(zhǎng)‘從零到一’的創(chuàng)新,但一旦他們掌握了一項(xiàng)技術(shù),就會(huì)把它優(yōu)化到極致,從一做到十、一百。”
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
標(biāo)簽 AI- 責(zé)任編輯: 楊蓉 
-
他又染指軍事:美國(guó)將在下一場(chǎng)戰(zhàn)爭(zhēng)中慘敗,除非…
2025-02-07 21:58 -
“特朗普自殘,更多人會(huì)信中國(guó)了”
2025-02-07 20:01 中美關(guān)系 -
老撾跟進(jìn):限電!
2025-02-07 19:29 打擊網(wǎng)絡(luò)詐騙 -
中方已向美方提出嚴(yán)正交涉
2025-02-07 18:02 中美關(guān)系 -
“噩夢(mèng)已開(kāi)始,女兒?jiǎn)栁沂遣皇窃p騙…”
2025-02-07 18:01 中美關(guān)系 -
美媒也逃不過(guò)…
2025-02-07 17:58 應(yīng)對(duì)特朗普沖擊波 -
馬斯克再被阻擊
2025-02-07 17:57 應(yīng)對(duì)特朗普沖擊波 -
喊停又喊停,特朗普“上任N把火”處處碰壁
2025-02-07 17:46 應(yīng)對(duì)特朗普沖擊波 -
中印尼續(xù)簽雙邊本幣互換協(xié)議,規(guī)模為4000億元人民幣
2025-02-07 16:56 人民幣國(guó)際化 -
習(xí)近平會(huì)見(jiàn)韓國(guó)國(guó)會(huì)議長(zhǎng)禹元植
2025-02-07 16:31 -
中國(guó)正對(duì)蘋(píng)果公司開(kāi)展反壟斷調(diào)查?外交部回應(yīng)
2025-02-07 16:20 -
美航空專家急了:不賣中國(guó),他回頭自己造了就丸辣!
2025-02-07 16:05 中美關(guān)系 -
外交部:對(duì)巴拿馬不再續(xù)簽“一帶一路”諒解備忘錄深表遺憾
2025-02-07 16:05 -
又一起……美國(guó)阿拉斯加一飛機(jī)失聯(lián)
2025-02-07 15:41 航空安全 -
馬斯克揮刀,砍到伊萬(wàn)卡蛋糕了…
2025-02-07 14:34 -
“DeepSeek粉碎西方遏華幻想,中國(guó)正鯨吞世界”
2025-02-07 14:01 中美關(guān)系 -
不降反增!8年折騰了個(gè)寂寞…
2025-02-07 12:11 應(yīng)對(duì)特朗普沖擊波 -
“中美貿(mào)易摩擦,我們歐洲恐成大輸家”
2025-02-07 11:32 歐洲亂局 -
他揚(yáng)言:將審查中國(guó)是否遵守
2025-02-07 11:07 應(yīng)對(duì)特朗普沖擊波 -
聯(lián)合國(guó)人權(quán)理事會(huì):美國(guó)無(wú)法“退出”
2025-02-07 10:59 應(yīng)對(duì)特朗普沖擊波
相關(guān)推薦 -
-
全國(guó)政協(xié)十四屆三次會(huì)議閉幕 評(píng)論 0全國(guó)政協(xié)十四屆三次會(huì)議閉幕會(huì) 評(píng)論 2特魯多迎來(lái)“最后一天”,特朗普成了“意外救星” 評(píng)論 47“特朗普政府已通知盟友,將停止參加歐洲未來(lái)軍演” 評(píng)論 102默茨急劇掉頭,“這是典型的‘尼克松訪華時(shí)刻’” 評(píng)論 187最新聞 Hot
-
歐洲多國(guó)驚覺(jué):被美國(guó)掌握一個(gè)“致命開(kāi)關(guān)”
-
對(duì)歐洲“感到憤怒”,“特朗普想把駐德美軍全撤走”
-
萬(wàn)斯:親烏抗議者當(dāng)街騷擾,嚇到3歲女兒
-
紐約發(fā)生多起山火,紐約州進(jìn)入緊急狀態(tài)
-
特朗普威脅“不談就打”,伊朗最高領(lǐng)袖表態(tài)
-
“烏克蘭半瞎了,歐洲急了”
-
尹錫悅獲釋第二天,首爾10萬(wàn)民眾集會(huì)游行
-
美媒哀嘆:所謂的“西方”,已蕩然無(wú)存
-
“1500億歐元貸款計(jì)劃,法德又吵起來(lái)了”
-
“看看中國(guó)高鐵再看美鐵,尬死了”
-
特朗普怒砍哥大4億美元:打擊“反猶”不給力啊
-
“特朗普想重新劃定美加邊界”
-
“魯比奧與馬斯克干架了”,特朗普忙滅火
-
“因?yàn)槲沂敲绹?guó)人,在臺(tái)積電被罵又懶又蠢”,下月開(kāi)庭
-
“普京愿意,但有條件”
-
“最大受害者是波音,中國(guó)要么用國(guó)產(chǎn),要么買空客”
快訊- 合肥常住人口突破千萬(wàn)
- 萬(wàn)斯:親烏抗議者當(dāng)街騷擾,嚇到3歲女兒
- 白瑪玉珍委員:2024年西藏林芝墨脫縣游客達(dá)到60萬(wàn)人次
- 黃麗萍委員:村里芒果年產(chǎn)值超300萬(wàn)元,家家都有芒果園
- 連玉明委員:藏羚羊已從保護(hù)初期的2萬(wàn)多只恢復(fù)到7萬(wàn)多只
- 阿拉騰達(dá)來(lái)委員:內(nèi)蒙古75支烏蘭牧騎隊(duì)伍,每年演出1萬(wàn)多場(chǎng)
- 小區(qū)空置房的物業(yè)費(fèi)該不該打折?安徽:有的打9折,但多數(shù)不支持
- 馬克·卡尼:加拿大永遠(yuǎn)不會(huì)成為美國(guó)一部分
-