7月23日，據(jù)國(guó)外媒體報(bào)道，馬斯克在其社交媒體上宣布，旗下AI初創(chuàng)公司xAI已開(kāi)始在位于田納西州的所謂孟菲斯超級(jí)集群（training cluster）上進(jìn)行訓(xùn)練，號(hào)稱(chēng)這是“全球最強(qiáng)大的AI訓(xùn)練集群”。

馬斯克在X平臺(tái)的宣布截圖華爾街見(jiàn)聞

據(jù)馬斯克介紹，這個(gè)集群由100,000個(gè)液冷H100 GPU組成，這些芯片是英偉達(dá)去年開(kāi)始提供的。

馬斯克還表示，該集群在單個(gè)RDMA結(jié)構(gòu)（即遠(yuǎn)程直接數(shù)據(jù)存取結(jié)構(gòu)）上運(yùn)行。據(jù)思科介紹，這種結(jié)構(gòu)可以在計(jì)算節(jié)點(diǎn)之間提供更高效、更低延遲的數(shù)據(jù)傳輸，而不會(huì)給中央處理器（CPU）帶來(lái)負(fù)擔(dān)。

馬斯克今年5月曾透露這一計(jì)劃 ，將英偉達(dá)H100串聯(lián)到一臺(tái)巨型的超級(jí)計(jì)算機(jī)中，并稱(chēng)其為“算力超級(jí)工廠”。

當(dāng)時(shí)，馬斯克匆匆忙忙地開(kāi)始了Supercluster的工作，需要購(gòu)買(mǎi)英偉達(dá)“Hopper”H100 GPU。這似乎表明，當(dāng)時(shí)這位科技大亨沒(méi)有耐心等待 H200 芯片推出，更不用說(shuō)即將推出的基于 Blackwell 的 B100 和 B200 GPU。盡管預(yù)計(jì)較新的 Nvidia Blackwell 數(shù)據(jù)中心 GPU 將在 2024 年底之前發(fā)貨。

馬斯克新浪科技

xAI的目標(biāo)是到2024年12月訓(xùn)練出“按每項(xiàng)指標(biāo)衡量都是全球最強(qiáng)大的AI”。馬斯克表示，孟菲斯超級(jí)集群將為實(shí)現(xiàn)這一目標(biāo)提供“顯著優(yōu)勢(shì)”。

不過(guò)，據(jù)外媒表示，不要對(duì)這一時(shí)間節(jié)點(diǎn)報(bào)太大期望，因?yàn)轳R斯克以公開(kāi)提出并錯(cuò)過(guò)許多項(xiàng)目（如全自動(dòng)駕駛汽車(chē)、無(wú)人駕駛出租車(chē)產(chǎn)品Robotaxi和將人類(lèi)送往火星）的最后期限而聞名。

馬斯克周一還表示，特斯拉將在明年小規(guī)模生產(chǎn)用于內(nèi)部使用的Optimus機(jī)器人，并希望到2026年能大規(guī)模生產(chǎn)供其他公司使用。這比他之前承諾的時(shí)間表晚了。之前馬斯克宣稱(chēng)到2024年底將在特斯拉工廠使用Optimus機(jī)器人，并在2025年交付給其他公司。

另外，Microsoft正在與OpenAI首席執(zhí)行官Sam Altman（阿爾特曼）合作開(kāi)發(fā)一個(gè)價(jià)值1000億美元的AI訓(xùn)練超級(jí)計(jì)算機(jī)，代號(hào)為Stargate。如果這一項(xiàng)目取得成功，xAI的孟菲斯超級(jí)集群可能不會(huì)長(zhǎng)期保持全球最強(qiáng)大的AI訓(xùn)練集群地位。

心智觀察所研究員潘攻愚認(rèn)為，馬斯克一直標(biāo)榜特斯拉是一家人工智能和機(jī)器人公司。特斯拉大型工廠三班倒一刻不停地進(jìn)行數(shù)據(jù)搜集用于AI訓(xùn)練，馬斯克需要近10萬(wàn)塊H100用于特斯拉FSD自動(dòng)駕駛服務(wù)，為下半年推出Robotaxi做準(zhǔn)備。不過(guò)如此大量的采購(gòu)有兩個(gè)挑戰(zhàn)，一個(gè)是能耗。目前H100全年總能耗已經(jīng)超過(guò)了格魯吉亞等小國(guó)全年所有的電量；一個(gè)是從訓(xùn)練到推理的跳躍，畢竟H100用于推理的性?xún)r(jià)比并不高，會(huì)造成很多算力的“通貨膨脹”。

目前，英偉達(dá)的股價(jià)正在走出另一波調(diào)整，馬斯克的最新言論為其注入一針強(qiáng)心劑。截至當(dāng)?shù)貢r(shí)間22日美股收盤(pán)，英偉達(dá)上漲4.76%，特斯拉則上漲5.15%。

心智觀察所研究員呂棟指出，AI既是“暴力美學(xué)”，也是工程比拼，需要算力、算法、數(shù)據(jù)的深度融合與經(jīng)驗(yàn)積累。

一方面，隨著計(jì)算量不斷攀升，單卡算力角色弱化，大模型訓(xùn)練亟需一個(gè)超級(jí)工廠，即“大且通用”的加速計(jì)算平臺(tái)，以縮短訓(xùn)練時(shí)間，實(shí)現(xiàn)模型能力的快速迭代。隨著大模型參數(shù)量從千億邁向萬(wàn)億，模型能力更加泛化，大模型對(duì)底層算力的訴求進(jìn)一步升級(jí)，萬(wàn)卡甚至超萬(wàn)卡集群已成為競(jìng)賽入場(chǎng)券。

另一方面，建設(shè)萬(wàn)卡或超萬(wàn)卡集群并非一萬(wàn)張GPU卡的簡(jiǎn)單堆疊，而是一項(xiàng)高度復(fù)雜的系統(tǒng)工程。算力集群不是一個(gè)計(jì)算GPU，怎么把它組織成算力網(wǎng)絡(luò)，相互之間通訊效率怎么提高，怎么實(shí)現(xiàn)MFU（算力利用率）達(dá)到60%的最優(yōu)目標(biāo)，這些都要靠網(wǎng)絡(luò)通訊、計(jì)算、存儲(chǔ)一起來(lái)解決。只有軟硬件結(jié)合，把整個(gè)集群算力發(fā)揮到最高，才能實(shí)現(xiàn)1+1>2的效果。

另外值得注意的是，在比拼算力和算法之外，如何將人工智能基礎(chǔ)設(shè)施化，賦能全行業(yè)，中國(guó)正在做人工智能賦能實(shí)體經(jīng)濟(jì)的道路探索。

中國(guó)工程院院士、中國(guó)科學(xué)院計(jì)算技術(shù)研究所所長(zhǎng)孫凝暉認(rèn)為，算力基礎(chǔ)設(shè)施的中國(guó)方案需要具備“兩低一高”，即在供給側(cè)，大幅度降低算力器件、算力設(shè)備、網(wǎng)絡(luò)連接、數(shù)據(jù)獲取、算法模型調(diào)用、電力消耗、運(yùn)營(yíng)維護(hù)、開(kāi)發(fā)部署的總成本，讓廣大中小企業(yè)都消費(fèi)得起高品質(zhì)的算力服務(wù)，有積極性開(kāi)發(fā)算力網(wǎng)應(yīng)用；在消費(fèi)側(cè)，大幅度降低廣大用戶(hù)的算力使用門(mén)檻，面向大眾的公共服務(wù)必須做到易獲取、易使用，像水電一樣即開(kāi)即用，像編寫(xiě)網(wǎng)頁(yè)一樣輕松定制算力服務(wù)，開(kāi)發(fā)算力網(wǎng)應(yīng)用。在服務(wù)效率側(cè)，中國(guó)的算力服務(wù)要實(shí)現(xiàn)低熵高通量，其中高通量是指在實(shí)現(xiàn)高并發(fā)度服務(wù)的同時(shí)，端到端服務(wù)的響應(yīng)時(shí)間可滿足率高；低熵是指在高并發(fā)負(fù)載中出現(xiàn)資源無(wú)序競(jìng)爭(zhēng)的情況下，保障系統(tǒng)通量不急劇下降。保障“算得多”對(duì)中國(guó)尤其重要。

當(dāng)前，中國(guó)也正在掀起建設(shè)萬(wàn)卡集群的熱潮，像華為、中國(guó)移動(dòng)、摩爾線程等廠商都在布局萬(wàn)卡集群。