開(kāi)源的好時(shí)代還在后面

觀察者網(wǎng)：大模型的開(kāi)源方式，跟Linux這樣的傳統(tǒng)開(kāi)源方式也有很大區(qū)別。

林旅強(qiáng)：完全不一樣，現(xiàn)在的開(kāi)源大模型并沒(méi)有把關(guān)鍵素材開(kāi)放出來(lái)。

Open Source的基本邏輯，第一是透明，第二是可復(fù)現(xiàn)。但大部分開(kāi)源模型的tech report都不夠透明，比如用了什么樣的數(shù)據(jù)集，這是各家的秘方，是不可能拿出來(lái)的。

傳統(tǒng)的開(kāi)源軟件，所有代碼都會(huì)公開(kāi)在GitHub上，你能夠完全去復(fù)現(xiàn)這套軟件，并且做出進(jìn)一步貢獻(xiàn)。比如你發(fā)現(xiàn)一個(gè)bug，可以去提交修復(fù)。但所謂的開(kāi)源大模型，仍然是一個(gè)黑盒子，我無(wú)法去修改這個(gè)黑盒子，無(wú)法改善它，只能夠基于它去做后訓(xùn)練。所以它更像是開(kāi)源和閉源之間的一個(gè)中間態(tài)。

真正開(kāi)源的大模型，其實(shí)Hugging Face上也是有的，比如BigScience項(xiàng)目，可以給出完全開(kāi)源的數(shù)據(jù)集和訓(xùn)練代碼，但是大部分開(kāi)源模型做不到這一點(diǎn)，我認(rèn)為把它們叫做開(kāi)放模型更合適。

觀察者網(wǎng)：真正意義上Open Source的開(kāi)源模型團(tuán)隊(duì)有哪些，主要在國(guó)外嗎？

王鐵震：這是一個(gè)很有意思的現(xiàn)象，國(guó)內(nèi)做開(kāi)源的主要是大公司，或者能拿到國(guó)家資助的學(xué)術(shù)機(jī)構(gòu)，而在海外有很多自發(fā)的組織，他們可能只是依靠一些捐贈(zèng)，或者就是幾個(gè)學(xué)生做著玩，然后得到一些企業(yè)幫助。

據(jù)我了解，國(guó)內(nèi)真正滿足開(kāi)源標(biāo)準(zhǔn)的團(tuán)隊(duì)，主要有兩個(gè)。一個(gè)是RWKV（元始智能），他們最早用Stable Diffusion的幾百?gòu)埧ㄒ恢痹谀鲱A(yù)訓(xùn)練，現(xiàn)在也逐漸開(kāi)始尋求商業(yè)轉(zhuǎn)化。另一個(gè)是MAP，他們是一個(gè)虛擬的在線組織，成員主要是國(guó)內(nèi)大廠的研發(fā)人員，會(huì)進(jìn)行一些跨機(jī)構(gòu)的合作，發(fā)布過(guò)真開(kāi)源的模型MAP-NEO，以及春運(yùn)數(shù)據(jù)集等等。

海外的開(kāi)源大模型團(tuán)隊(duì)大家可能更熟悉，除了Hugging Face的項(xiàng)目，還有艾倫AI研究院（Allen Institute for AI），后者得到了蓋茨基金會(huì)的支持。

觀察者網(wǎng)：真開(kāi)源項(xiàng)目少，是不是大模型的訓(xùn)練成本過(guò)高造成的？因?yàn)榧词归_(kāi)放出來(lái)也很少有人能去復(fù)現(xiàn)。大模型領(lǐng)域不太可能產(chǎn)生類似開(kāi)源軟件的生態(tài)？

林旅強(qiáng)：對(duì)，我們回過(guò)頭看Linux生態(tài)是怎么長(zhǎng)出來(lái)的，一個(gè)重要原因是個(gè)人電腦很便宜。

最早發(fā)起自由軟件運(yùn)動(dòng)的人，理查德·斯托曼，當(dāng)時(shí)在MIT的人工智能實(shí)驗(yàn)室任職。他認(rèn)為軟件應(yīng)該是自由開(kāi)源的，可是當(dāng)時(shí)的電腦太貴，他在實(shí)驗(yàn)室里想要做軟件編譯，都得排隊(duì)去申請(qǐng)使用電腦，就像今天的大模型研究者排隊(duì)求分配顯卡，這種資源稀缺的情況是無(wú)法做開(kāi)源的。

到Linux出來(lái)的時(shí)候，PC已經(jīng)便宜到讓野生開(kāi)發(fā)者都能夠在自己家里面寫代碼，這是摩爾定律帶來(lái)的算力民主化。

所以我認(rèn)為當(dāng)下的 AI大模型，還處在當(dāng)年的實(shí)驗(yàn)室階段。等到算力成本繼續(xù)降低，AIPC能夠讓每一個(gè)人在自己家里就能跑得起大模型，或者訓(xùn)練一些小模型，開(kāi)源的百花齊放就會(huì)來(lái)臨。

觀察者網(wǎng)：摩爾定律在GPU領(lǐng)域還能繼續(xù)有效嗎？

王鐵震：討論摩爾定律，一方面我們可以期待下一個(gè)世代的硬件進(jìn)步，甚至量子計(jì)算有怎樣的前景。另一方面，軟件或許也有一些辦法能夠讓摩爾定律延續(xù)，比如MiniMax、RWKV嘗試的Linear Attention（線性注意力機(jī)制），就是降低算力成本的另一條途徑。

其實(shí)芯片領(lǐng)域的摩爾定律之所以一直能延續(xù)，不是因?yàn)樽钤绲募夹g(shù)能一直延續(xù)，而是行業(yè)在不停地變換技術(shù)棧，尋找摩爾定律的新的解釋方式。我覺(jué)得AI行業(yè)肯定也能做到這一點(diǎn)，比如用更小的模型就能獲得現(xiàn)在很大模型的效果，或者用超越傳統(tǒng)Transformer的架構(gòu)來(lái)取得對(duì)算力需求的數(shù)量級(jí)下降。甚至未來(lái)是不是可能專門為大模型設(shè)計(jì)一種ASIC，效率遠(yuǎn)遠(yuǎn)超越通用GPU。

所以我們不用太悲觀，至少現(xiàn)在英偉達(dá)的GPU還在快速進(jìn)步，未來(lái)也有很多替代路線可以探索。

開(kāi)源是一場(chǎng)標(biāo)準(zhǔn)之爭(zhēng)

觀察者網(wǎng)：即使解決了成本問(wèn)題，做開(kāi)源模型的回報(bào)在哪里？一些大廠，比如阿里云、字節(jié)，可以用其他業(yè)務(wù)變現(xiàn)。但是像“六小虎”這樣的企業(yè)，為什么要開(kāi)源？

林旅強(qiáng)：每一個(gè)企業(yè)做開(kāi)源，一定是符合商業(yè)理性的，一定要能促成他的商業(yè)邏輯閉環(huán)。我不認(rèn)為開(kāi)源只是靠情懷。

扎克伯格當(dāng)初寫了一篇文章，解釋為什么要把Llama開(kāi)源。文章標(biāo)題是Open Source AI Is the Path Forward，開(kāi)源是未來(lái)之道。

扎克伯格表達(dá)了兩個(gè)觀點(diǎn)：一是開(kāi)源能夠避免重復(fù)造輪子，把自己的一些成功拿出來(lái)給大家用，能夠降低整個(gè)行業(yè)的研發(fā)成本；二是開(kāi)源也有助于形成行業(yè)標(biāo)準(zhǔn)。

我想大企業(yè)做開(kāi)源，真正的動(dòng)機(jī)肯定不只是第一點(diǎn)，幫別人省錢。而是這個(gè)錢省了之后，他就會(huì)落入到我的生態(tài)系統(tǒng)，他的根就在我這邊，我在這個(gè)生態(tài)系統(tǒng)里擁有絕對(duì)影響力。那么以后這個(gè)行業(yè)的基礎(chǔ)設(shè)施和技術(shù)路線，都是要跟我掛鉤的。

從商業(yè)的角度來(lái)講，標(biāo)準(zhǔn)等于壟斷，制定標(biāo)準(zhǔn)的人賺最多錢。

我曾經(jīng)在華為從事開(kāi)源項(xiàng)目，華為為什么做那么多開(kāi)源？第一他不想被卡脖子，第二他也希望能定出標(biāo)準(zhǔn)。華為的開(kāi)源項(xiàng)目是放在產(chǎn)業(yè)與標(biāo)準(zhǔn)部門里的。過(guò)去在通信領(lǐng)域，像3G、4G、5G，或者藍(lán)牙這樣的通信協(xié)議，是有行業(yè)聯(lián)盟來(lái)制定標(biāo)準(zhǔn)的。但是到了軟件領(lǐng)域，華為發(fā)現(xiàn)沒(méi)辦法做聯(lián)盟，開(kāi)源形成的事實(shí)上的標(biāo)準(zhǔn)，把聯(lián)盟壟斷的路子都給斷了，搞標(biāo)準(zhǔn)只能從開(kāi)源切入。

觀察者網(wǎng)：零一為什么要做開(kāi)源？

林旅強(qiáng)：對(duì)一些企業(yè)來(lái)說(shuō)，做開(kāi)源也有秀肌肉的作用。通過(guò)一個(gè)很厲害的產(chǎn)品，讓市場(chǎng)認(rèn)識(shí)一家公司，這是后進(jìn)者能夠讓自己傳播的一種方式。

還有很多企業(yè)，會(huì)同時(shí)做開(kāi)源免費(fèi)版和商業(yè)收費(fèi)版兩種產(chǎn)品。通過(guò)開(kāi)源的方式，能更快得到客戶，然后只要開(kāi)源免費(fèi)版的基礎(chǔ)夠大，我也可以通過(guò)一些產(chǎn)品設(shè)計(jì)，滿足更多的商業(yè)訴求，變成付費(fèi)版本。

在國(guó)內(nèi)主流的大模型公司里，零一已經(jīng)算是入局比較晚的，所以必須開(kāi)源。但我加入零一，首先是因?yàn)樗麄兊哪Ｐ妥銐驈?qiáng)，因?yàn)殚_(kāi)源生態(tài)非常依賴于產(chǎn)品強(qiáng)不強(qiáng)。

零一選擇了開(kāi)源閉源并進(jìn)的策略，認(rèn)為最強(qiáng)的模型必須是閉源的，同時(shí)也去建設(shè)開(kāi)源生態(tài)。但這未必是大模型開(kāi)源的唯一解，有時(shí)也會(huì)讓客戶感到矛盾。通義千問(wèn)全部做開(kāi)源，其實(shí)也是很好的思路。

觀察者網(wǎng)：對(duì)客戶來(lái)說(shuō)，開(kāi)源的安全性會(huì)是個(gè)問(wèn)題嗎？

林旅強(qiáng)：包括央國(guó)企在內(nèi)的大模型招標(biāo)，通常不會(huì)在標(biāo)書上要求是開(kāi)源還是閉源。開(kāi)源完全能夠滿足安全性的要求。因?yàn)榘踩灾饕蝗Q于開(kāi)源閉源，它們都是黑盒子，沒(méi)有區(qū)別。安全性主要靠大量的測(cè)試，比如做各種滲透測(cè)試，或者紅軍藍(lán)軍對(duì)抗。

王鐵震：其實(shí)從安全的角度上來(lái)講，開(kāi)源模型反而能允許你做更多的測(cè)試，而且這些攻擊行為不會(huì)被泄露到第三方。從這個(gè)角度上來(lái)講，開(kāi)源模型實(shí)際上更安全。

林旅強(qiáng)：沒(méi)錯(cuò)，很多白帽黑客可以自己去拿開(kāi)源模型做攻擊測(cè)試，把結(jié)果在行業(yè)中交流，讓大家知道如何防范。但是你不能去攻擊一個(gè)閉源模型，這是違法的。

開(kāi)源圈內(nèi)有句話，只要眼球足夠多，所有bug都現(xiàn)形，對(duì)大模型也是適用的。