DEEPSEEK R1對(duì)強(qiáng)化學(xué)習(xí)的押注

“DeepSeek-R1-Zero選擇了一條前所未有的路徑，即‘純’強(qiáng)化學(xué)習(xí)路徑，完全放棄了預(yù)定義的思維鏈（CoT）模型和監(jiān)督微調(diào)（SFT），僅依靠簡單的獎(jiǎng)勵(lì)和懲罰信號(hào)來優(yōu)化模型的行為?！盵9]

在騰訊團(tuán)隊(duì)對(duì)DeepSeek R1模型的分析中，他們提出可能需要重新思考監(jiān)督學(xué)習(xí)在AI發(fā)展中的作用?；蛟S他們過于專注于讓AI模仿人類的思維方式，而不是更多地押注于強(qiáng)化學(xué)習(xí)系統(tǒng)本身的解決問題能力[10]。在強(qiáng)化學(xué)習(xí)中，獎(jiǎng)勵(lì)和懲罰以數(shù)學(xué)方式表達(dá)在模型中。代理（可以是算法或系統(tǒng)）根據(jù)策略做出決策，該策略旨在最大化隨時(shí)間累積的獎(jiǎng)勵(lì)。獎(jiǎng)勵(lì)是代理在環(huán)境給定狀態(tài)下執(zhí)行操作所獲得的數(shù)值。

機(jī)器學(xué)習(xí)是人工智能的一個(gè)領(lǐng)域，它使計(jì)算機(jī)能夠識(shí)別模式并根據(jù)數(shù)據(jù)做出決策，而無需明確編程[11]。機(jī)器學(xué)習(xí)依賴于從大量數(shù)據(jù)中提取模式并調(diào)整其參數(shù)以隨時(shí)間提高預(yù)測能力的算法。這些算法可以分為三大類：監(jiān)督學(xué)習(xí)（模型從標(biāo)記數(shù)據(jù)中學(xué)習(xí)）、無監(jiān)督學(xué)習(xí)（模型在沒有預(yù)定義標(biāo)簽的情況下識(shí)別模式）和強(qiáng)化學(xué)習(xí)（模型通過試錯(cuò)學(xué)習(xí)，根據(jù)其行為獲得獎(jiǎng)勵(lì)或懲罰）。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，它使用具有多層的人工神經(jīng)網(wǎng)絡(luò)以分層和復(fù)雜的方式處理數(shù)據(jù)[12]。

由于這些創(chuàng)新，DeepSeek R1的訓(xùn)練成本大幅降低，僅為ChatGPT成本的1/10到1/20。當(dāng)OpenAI的模型花費(fèi)20美元時(shí)，DeepSeek僅用1美元就完成了相同的任務(wù)。2025年1月，DeepSeek模型的成本僅為每百萬token 16元人民幣，而ChatGPT的成本高達(dá)438元人民幣——相差27倍！[13] 這意味著組織可以以更低的成本使用DeepSeek的模型，同時(shí)實(shí)現(xiàn)更高的效率。

不同AI模型的Token輸入/輸出價(jià)格（美元/每百萬Tokens），可以看到DeepSeek的價(jià)格遠(yuǎn)低于其他AI模型Reddit

計(jì)算能力與AI的地緣政治

英偉達(dá)和其他科技巨頭股價(jià)的暴跌被許多人視為美國在AI領(lǐng)域領(lǐng)導(dǎo)地位的終結(jié)，這似乎并不準(zhǔn)確。這家強(qiáng)大的GPU制造商的股價(jià)大幅下跌是由于在DeepSeek成功開發(fā)出成本僅為OpenAI 10%的大型語言模型的消息傳出后，大量股票被拋售。這可能會(huì)改變AI的發(fā)展軌跡。對(duì)高處理能力芯片的依賴可能會(huì)發(fā)生變化?；谶@種推理和恐懼，投機(jī)者趁機(jī)拋售了他們?cè)谟ミ_(dá)和其他公司的股票。

然而，對(duì)尖端芯片的依賴并沒有因?yàn)橹袊膭?chuàng)新而結(jié)束。小于2納米的芯片代表了人工智能的關(guān)鍵進(jìn)步，它們確保了更高的處理能力和更低的能耗。隨著AI模型變得越來越復(fù)雜，需要數(shù)十億甚至數(shù)萬億的參數(shù)，計(jì)算效率仍然是一個(gè)關(guān)鍵因素。更小的芯片允許更高的晶體管密度，提高計(jì)算速度和能源效率，降低運(yùn)營成本和冷卻需求。這一演進(jìn)對(duì)于AI的大規(guī)模實(shí)施至關(guān)重要，從數(shù)據(jù)中心到移動(dòng)設(shè)備，包括軍事應(yīng)用。

值得注意的是，納米芯片擴(kuò)展了設(shè)備中的嵌入式應(yīng)用，并促進(jìn)了它們?cè)谖锫?lián)網(wǎng)、醫(yī)療保健、機(jī)器人和自動(dòng)駕駛汽車中的使用。另一個(gè)承諾是，隨著芯片變得更先進(jìn)、體積更小，AI模型可以在本地運(yùn)行，減少對(duì)云的依賴，并確保更快、更安全的響應(yīng)。在地緣政治背景下，對(duì)更小芯片的競爭加劇了美國和中國等大國之間的技術(shù)爭端，因?yàn)閷?duì)這一技術(shù)的控制定義了數(shù)字經(jīng)濟(jì)和網(wǎng)絡(luò)安全領(lǐng)域的競爭力。

美國通過技術(shù)主導(dǎo)、戰(zhàn)略投資和供應(yīng)鏈控制的結(jié)合，保持了在芯片和半導(dǎo)體開發(fā)和制造領(lǐng)域的領(lǐng)導(dǎo)地位。英偉達(dá)、英特爾、AMD和高通等美國公司引領(lǐng)著先進(jìn)芯片的設(shè)計(jì)。美國政府通過補(bǔ)貼和激勵(lì)措施（如《芯片與科學(xué)法案》[14]）加強(qiáng)其地位，該法案撥款數(shù)十億美元用于加強(qiáng)國內(nèi)半導(dǎo)體生產(chǎn)，減少對(duì)亞洲的依賴。

除了技術(shù)優(yōu)勢(shì)外，美國還利用制裁和出口管制來限制戰(zhàn)略競爭對(duì)手（如中國）獲取關(guān)鍵技術(shù)。商務(wù)部對(duì)先進(jìn)半導(dǎo)體制造設(shè)備（如ASML的機(jī)器和Cadence、Synopsys的芯片設(shè)計(jì)軟件）的出口實(shí)施嚴(yán)格限制。這些限制使中國難以開發(fā)自己的先進(jìn)芯片，并鞏固了美國在該領(lǐng)域的地位。同時(shí)，華盛頓投資于戰(zhàn)略聯(lián)盟，如“芯片四方聯(lián)盟”（與日本、韓國和中國臺(tái)灣地區(qū)），確保其盟友遵循美國的指導(dǎo)方針，限制技術(shù)轉(zhuǎn)讓給被視為競爭對(duì)手的國家。這一綜合戰(zhàn)略使美國能夠保持其在半導(dǎo)體行業(yè)的霸權(quán)，這對(duì)數(shù)字經(jīng)濟(jì)和國家安全至關(guān)重要。[15]

盡管美國正在盡一切努力限制中國獲取先進(jìn)芯片（7納米以下）及其生產(chǎn)能力，但中國正在不斷發(fā)展其獨(dú)立制造這些高端芯片的能力。中芯國際（SMIC）已經(jīng)展示了生產(chǎn)7納米芯片的能力，并被認(rèn)為很可能能夠生產(chǎn)5納米芯片[16]。上海微電子裝備（SMEE）等公司正在積極開發(fā)極紫外（EUV）光刻技術(shù)，以取代ASML壟斷的光刻機(jī)[17]，這些光刻機(jī)已被限制向中國銷售。

另一方面，在汽車和工業(yè)領(lǐng)域使用的成熟工藝芯片（技術(shù)并非最尖端但需求顯著更高）方面，中國的芯片產(chǎn)業(yè)已經(jīng)建立了大規(guī)模且完整的產(chǎn)業(yè)鏈。2024年，中國芯片出口總額超過1萬億元人民幣（約合1390億美元）[18]?？梢灶A(yù)見，一旦中國公司在先進(jìn)工藝上取得技術(shù)突破，其現(xiàn)有的供應(yīng)鏈優(yōu)勢(shì)將顯著降低高端芯片的價(jià)格。此外，芯片工藝受到物理極限的限制，無法無限改進(jìn)。中國趕上美國只是時(shí)間問題。

美國前總統(tǒng)喬·拜登于2022年8月9日簽署2022年《芯片法案》路透社

結(jié)論

“英偉達(dá)的領(lǐng)導(dǎo)地位不僅僅是一家公司努力的結(jié)果，而是整個(gè)西方技術(shù)社區(qū)和行業(yè)共同努力的結(jié)果。他們能夠看到下一代技術(shù)趨勢(shì)，并擁有路線圖。中國的AI發(fā)展也需要這樣的生態(tài)系統(tǒng)。許多國內(nèi)芯片由于缺乏支持技術(shù)社區(qū)和二手信息而無法發(fā)展，因此中國需要站在技術(shù)前沿的人?！保何姆?，2024）[19]

DeepSeek的創(chuàng)始人梁文峰表示：“我們面臨的問題從來不是資金，而是對(duì)尖端芯片的禁令?！盵20] 即使數(shù)據(jù)集中化和對(duì)計(jì)算能力需求（需要越來越復(fù)雜的芯片）的趨勢(shì)發(fā)生變化并失去動(dòng)力，國際資本主義似乎也不會(huì)改變其根本的不對(duì)稱性。毫無疑問，中國的技術(shù)科學(xué)發(fā)展使技術(shù)依賴美國的國家能夠構(gòu)建有利于其發(fā)展的戰(zhàn)略。擁有主權(quán)、可控的世界級(jí)大型語言模型曾經(jīng)是美國和中國以外的國家——尤其是全球南方國家——無法企及的?，F(xiàn)在，DeepSeek已經(jīng)民主化了這項(xiàng)技術(shù)，為全球南方國家在這一領(lǐng)域開辟了新的可能性。同時(shí)，這也為這些國家的政府提出了新的任務(wù)和挑戰(zhàn)。

DeepSeek現(xiàn)象所指向的是開源對(duì)于加強(qiáng)國際協(xié)作鏈的重要性，這種協(xié)作鏈可以減少不平等和巨大的知識(shí)不對(duì)稱。然而，開源并不能解決建設(shè)主權(quán)基礎(chǔ)設(shè)施的問題，這些基礎(chǔ)設(shè)施對(duì)于地方和國家發(fā)展至關(guān)重要。因此，尋求改善其技術(shù)經(jīng)濟(jì)地位的國家需要減少科技巨頭的權(quán)力，控制AI的基本輸入——尤其是來自其人口的數(shù)據(jù)——并投資于減少自動(dòng)化系統(tǒng)在資本主義國家中產(chǎn)生的環(huán)境影響和勞動(dòng)力不穩(wěn)定的解決方案。押注于青年優(yōu)質(zhì)教育需要鼓勵(lì)技術(shù)多樣性，并將各民族的文化活力轉(zhuǎn)化為技術(shù)表達(dá)。

【本文葡萄牙語版收錄于即將在巴西出版的《人工智能，社會(huì)與階級(jí)》（AI, Society and Class）一書】

注釋：

[1]Winner, L. (2020). The whale and the reactor: A search for limits in an age of high technology. University of Chicago Press.

[2]https://startups.com.br/negocios/inteligencia-artificial/stargate-trump-anuncia-investimento-de-us-500-bi-em-projeto-de-ia/

[3] Idem.

[4]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[5]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[6]Idem.

[7]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[8]https://www.lowyinstitute.org/the-interpreter/deepseek-diplomacy-disruption-dominance-data

[9]郝博陽. (2025, 23 de janeiro). 一文讀懂｜DeepSeek新模型大揭秘，為何它能震動(dòng)全球AI圈.騰訊科技.

Link:https://mp.weixin.qq.com/s/cp4rQx09wygE9uHBadI7RA

[10] Idem.

[11] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

[12] Idem.

[13]https://mp.weixin.qq.com/s/GG7l2P9ZveZjsHbS0AJ7Rg

[14]https://www.congress.gov/bill/117th-congress/house-bill/4346

[15] Sutter, K. M., Sargent Jr, J. F., & Singh, M. (2023). Semiconductors and the CHIPS Act: The Global Context. Congressional Research Service (CRS) Reports and Issue Briefs.

[16]https://www.dw.com/zh/%E7%BE%8E%E5%9B%BD%E5%88%B6%E8%A3%81%E4%B8%8B-%E5%8D%8E%E4%B8%BA%E7%AA%81%E5%9B%B4%E7%9A%84%E7%A7%98%E5%AF%86%E6%AD%A6%E5%99%A8%E6%98%AF%E4%BB%80%E4%B9%88/a-67530706

[17]https://www.dw.com/zh/%E7%94%B3%E8%AF%B7%E4%B8%93%E5%88%A9%E4%B8%AD%E5%9B%BD7%E7%BA%B3%E7%B1%B3%E8%8A%AF%E7%89%87%E5%85%89%E5%88%BB%E6%8A%80%E6%9C%AF%E5%8F%96%E5%BE%97%E7%AA%81%E7%A0%B4/a-70227975

[18] http://politics.people.com.cn/n1/2024/1205/c1001-40376144.html

[19]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[20] Idem.