7月23日，據(jù)國外媒體報道，馬斯克在其社交媒體上宣布，旗下AI初創(chuàng)公司xAI已開始在位于田納西州的所謂孟菲斯超級集群（training cluster）上進(jìn)行訓(xùn)練，號稱這是“全球最強(qiáng)大的AI訓(xùn)練集群”。

馬斯克在X平臺的宣布截圖華爾街見聞

據(jù)馬斯克介紹，這個集群由100,000個液冷H100 GPU組成，這些芯片是英偉達(dá)去年開始提供的。

馬斯克還表示，該集群在單個RDMA結(jié)構(gòu)（即遠(yuǎn)程直接數(shù)據(jù)存取結(jié)構(gòu)）上運(yùn)行。據(jù)思科介紹，這種結(jié)構(gòu)可以在計算節(jié)點之間提供更高效、更低延遲的數(shù)據(jù)傳輸，而不會給中央處理器（CPU）帶來負(fù)擔(dān)。

馬斯克今年5月曾透露這一計劃 ，將英偉達(dá)H100串聯(lián)到一臺巨型的超級計算機(jī)中，并稱其為“算力超級工廠”。

當(dāng)時，馬斯克匆匆忙忙地開始了Supercluster的工作，需要購買英偉達(dá)“Hopper”H100 GPU。這似乎表明，當(dāng)時這位科技大亨沒有耐心等待 H200 芯片推出，更不用說即將推出的基于 Blackwell 的 B100 和 B200 GPU。盡管預(yù)計較新的 Nvidia Blackwell 數(shù)據(jù)中心 GPU 將在 2024 年底之前發(fā)貨。

馬斯克新浪科技

xAI的目標(biāo)是到2024年12月訓(xùn)練出“按每項指標(biāo)衡量都是全球最強(qiáng)大的AI”。馬斯克表示，孟菲斯超級集群將為實現(xiàn)這一目標(biāo)提供“顯著優(yōu)勢”。

不過，據(jù)外媒表示，不要對這一時間節(jié)點報太大期望，因為馬斯克以公開提出并錯過許多項目（如全自動駕駛汽車、無人駕駛出租車產(chǎn)品Robotaxi和將人類送往火星）的最后期限而聞名。

馬斯克周一還表示，特斯拉將在明年小規(guī)模生產(chǎn)用于內(nèi)部使用的Optimus機(jī)器人，并希望到2026年能大規(guī)模生產(chǎn)供其他公司使用。這比他之前承諾的時間表晚了。之前馬斯克宣稱到2024年底將在特斯拉工廠使用Optimus機(jī)器人，并在2025年交付給其他公司。

另外，Microsoft正在與OpenAI首席執(zhí)行官Sam Altman（阿爾特曼）合作開發(fā)一個價值1000億美元的AI訓(xùn)練超級計算機(jī)，代號為Stargate。如果這一項目取得成功，xAI的孟菲斯超級集群可能不會長期保持全球最強(qiáng)大的AI訓(xùn)練集群地位。

心智觀察所研究員潘攻愚認(rèn)為，馬斯克一直標(biāo)榜特斯拉是一家人工智能和機(jī)器人公司。特斯拉大型工廠三班倒一刻不停地進(jìn)行數(shù)據(jù)搜集用于AI訓(xùn)練，馬斯克需要近10萬塊H100用于特斯拉FSD自動駕駛服務(wù)，為下半年推出Robotaxi做準(zhǔn)備。不過如此大量的采購有兩個挑戰(zhàn)，一個是能耗。目前H100全年總能耗已經(jīng)超過了格魯吉亞等小國全年所有的電量；一個是從訓(xùn)練到推理的跳躍，畢竟H100用于推理的性價比并不高，會造成很多算力的“通貨膨脹”。

目前，英偉達(dá)的股價正在走出另一波調(diào)整，馬斯克的最新言論為其注入一針強(qiáng)心劑。截至當(dāng)?shù)貢r間22日美股收盤，英偉達(dá)上漲4.76%，特斯拉則上漲5.15%。

心智觀察所研究員呂棟指出，AI既是“暴力美學(xué)”，也是工程比拼，需要算力、算法、數(shù)據(jù)的深度融合與經(jīng)驗積累。

一方面，隨著計算量不斷攀升，單卡算力角色弱化，大模型訓(xùn)練亟需一個超級工廠，即“大且通用”的加速計算平臺，以縮短訓(xùn)練時間，實現(xiàn)模型能力的快速迭代。隨著大模型參數(shù)量從千億邁向萬億，模型能力更加泛化，大模型對底層算力的訴求進(jìn)一步升級，萬卡甚至超萬卡集群已成為競賽入場券。

另一方面，建設(shè)萬卡或超萬卡集群并非一萬張GPU卡的簡單堆疊，而是一項高度復(fù)雜的系統(tǒng)工程。算力集群不是一個計算GPU，怎么把它組織成算力網(wǎng)絡(luò)，相互之間通訊效率怎么提高，怎么實現(xiàn)MFU（算力利用率）達(dá)到60%的最優(yōu)目標(biāo)，這些都要靠網(wǎng)絡(luò)通訊、計算、存儲一起來解決。只有軟硬件結(jié)合，把整個集群算力發(fā)揮到最高，才能實現(xiàn)1+1>2的效果。

另外值得注意的是，在比拼算力和算法之外，如何將人工智能基礎(chǔ)設(shè)施化，賦能全行業(yè)，中國正在做人工智能賦能實體經(jīng)濟(jì)的道路探索。

中國工程院院士、中國科學(xué)院計算技術(shù)研究所所長孫凝暉認(rèn)為，算力基礎(chǔ)設(shè)施的中國方案需要具備“兩低一高”，即在供給側(cè)，大幅度降低算力器件、算力設(shè)備、網(wǎng)絡(luò)連接、數(shù)據(jù)獲取、算法模型調(diào)用、電力消耗、運(yùn)營維護(hù)、開發(fā)部署的總成本，讓廣大中小企業(yè)都消費(fèi)得起高品質(zhì)的算力服務(wù)，有積極性開發(fā)算力網(wǎng)應(yīng)用；在消費(fèi)側(cè)，大幅度降低廣大用戶的算力使用門檻，面向大眾的公共服務(wù)必須做到易獲取、易使用，像水電一樣即開即用，像編寫網(wǎng)頁一樣輕松定制算力服務(wù)，開發(fā)算力網(wǎng)應(yīng)用。在服務(wù)效率側(cè)，中國的算力服務(wù)要實現(xiàn)低熵高通量，其中高通量是指在實現(xiàn)高并發(fā)度服務(wù)的同時，端到端服務(wù)的響應(yīng)時間可滿足率高；低熵是指在高并發(fā)負(fù)載中出現(xiàn)資源無序競爭的情況下，保障系統(tǒng)通量不急劇下降。保障“算得多”對中國尤其重要。

當(dāng)前，中國也正在掀起建設(shè)萬卡集群的熱潮，像華為、中國移動、摩爾線程等廠商都在布局萬卡集群。