觀察員
-
科大訊飛攜手華為，實現(xiàn)基于國產(chǎn)算力的MoE模型推理方案
3月11日，據(jù)“科大訊飛研究院”公眾號，近日，科大訊飛攜手華為在國產(chǎn)算力領(lǐng)域取得重大進展，雙方聯(lián)合團隊率先突破國產(chǎn)算力集群上MoE模型的大規(guī)?？绻?jié)點專家并行集群推理，這是繼DeepSeek公布其MoE模型訓練推理方案后，業(yè)界首個基于國產(chǎn)算力的全新解決方案。
科大訊飛介紹，聯(lián)合團隊通過軟硬件的深度協(xié)同創(chuàng)新，在多個關(guān)鍵技術(shù)層面深挖硬件潛力，完成昇騰集群上的驗證和部署。在算子融合方面，團隊在MLA預處理階段通過Vector與Cube異構(gòu)計算單元并行流水，并將多個小算子融合重構(gòu)為原子級計算單元，消除小算子下發(fā)開銷，MLA前處理時延降低50%+，實現(xiàn)性能的顯著提升。
在混合并行策略和通信計算并行優(yōu)化方面，團隊構(gòu)建了TP（張量并行）+EP（專家并行）混合范式：對MLA計算層采用機內(nèi)TP并行，發(fā)揮機內(nèi)高速互聯(lián)優(yōu)勢，降低跨機通信損耗；創(chuàng)新MoE專家分層調(diào)度，64卡均衡分配專家計算節(jié)點，定制AllToAll通信協(xié)議，專家數(shù)據(jù)交換效率提升40%，構(gòu)建跨機/機內(nèi)雙層通信架構(gòu)，通過分層優(yōu)化降低跨機流量60%；同時研發(fā)路由專家負載均衡算法，實現(xiàn)卡間負載差異小于10%，集群吞吐提升30%。
通過分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團隊在國產(chǎn)算力上實現(xiàn)了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。
科大訊飛稱，這一突破性的解決方案也將應用于訊飛星火深度推理模型的訓練加速，預期訓練時推理效率將提升200%。同時，基于該方案的推理引擎也實現(xiàn)了國產(chǎn)算力上DeepSeek V3和R1的高效推理。
近期，科大訊飛深度推理大模型星火X1也完成升級，在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下，星火X1的數(shù)學能力全面對標DeepSeek R1和OpenAI o1，在中文數(shù)學各項任務中均實現(xiàn)領(lǐng)先?？拼笥嶏w始終堅定走國產(chǎn)化道路，星火X1也是當前唯一采用全國產(chǎn)算力訓練的深度推理大模型。
- 責任編輯: 連政
-
《哪吒2》將在歐洲37個國家上映
2025-03-11 16:02 -
兩個月吸金20億，中國機器人創(chuàng)企為何成資本新寵？
2025-03-11 15:17 觀網(wǎng)財經(jīng)-科創(chuàng) -
國補首次覆蓋新能源汽車用品，京東養(yǎng)車再提速
2025-03-11 14:10 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
“高貴的”昂跑和lululemon，也有了高貴的煩惱
2025-03-11 14:03 觀網(wǎng)財經(jīng)-消費 -
稚暉君發(fā)布靈犀X2機器人：毫秒級交互反應能力
2025-03-11 13:14 -
國產(chǎn)CPU生態(tài)突圍需要“競合”，而非“內(nèi)耗”
2025-03-11 11:14 觀網(wǎng)財經(jīng)-科創(chuàng) -
美股大幅低開，特斯拉大跌9%較歷史最高位“腰斬”
2025-03-10 23:06 -
方便面“老二”地位動搖，統(tǒng)一靠飲料撐起業(yè)績
2025-03-10 21:49 觀網(wǎng)財經(jīng)-消費 -
出海！宇樹在速賣通開設官方店鋪
2025-03-10 21:15 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
這些年輕的面孔，都是中國科創(chuàng)的功臣
2025-03-10 21:06 觀察者頭條 -
17歲男孩“在海底撈”醉酒撒尿，賣酒的人該擔責嗎？
2025-03-10 19:35 觀網(wǎng)財經(jīng)-消費 -
馬來西亞運營商與華為中興簽約，將在5G與AI方面合作
2025-03-10 18:12 觀網(wǎng)財經(jīng)-科創(chuàng) -
東茅街茶館會成為下一個文和友嗎？
2025-03-10 18:11 觀網(wǎng)財經(jīng)-消費 -
層高至少3米！住建部將從這三個方向落實“好房子”標準
2025-03-10 18:11 2025兩會 -
到海外買礦！坐擁7座金礦的赤峰黃金港股再上市
2025-03-10 18:02 觀網(wǎng)財經(jīng)-消費 -
茶咖日報｜奈雪的茶被調(diào)出港股通標的名單；瑞幸咖啡泰國商標案勝訴
2025-03-10 17:56 觀網(wǎng)財經(jīng)-消費 -
網(wǎng)易回應“將關(guān)閉公有云”
2025-03-10 16:10 觀網(wǎng)財經(jīng)-科創(chuàng) -
蘋果折疊屏被曝將搭載硅碳負極電池，寧德新能源獨供
2025-03-10 15:46 觀網(wǎng)財經(jīng)-科創(chuàng) -
登頂熱搜，美的被曝強制18點20下班？官方回應，網(wǎng)友吵翻
2025-03-10 14:24 大公司 -
國家機器人創(chuàng)新中心與華為開展具身智能領(lǐng)域合作交流
2025-03-10 10:45 觀網(wǎng)財經(jīng)-科創(chuàng)
相關(guān)推薦 -
-
菲總統(tǒng)馬科斯首次發(fā)聲 評論 0
“迫害！這是公然侮辱菲律賓主權(quán)” 評論 370
“聽到這些機器人來自中國，他們常感到驚訝” 評論 69
十四屆全國人大三次會議閉幕 評論 1最新聞 Hot-
菲總統(tǒng)馬科斯首次發(fā)聲
-
被中方反制敲醒了：討好美國整中國，沒好果子吃
-
特朗普放狠話：對特斯拉施暴就是國內(nèi)恐怖主義
-
涉案貨值近百萬元！杭州一地集中銷毀假冒品牌箱包、服裝、煙酒
-
鄭州雙層巴士過隧道因超高被削車頂，官方通報
-
哈佛宣布：暫停招聘教職員工
-
美媒急了：為何美國總是輸給中國？
-
已談4小時，俄方表態(tài)
-
我國首個商業(yè)航天發(fā)射場具備雙工位發(fā)射能力
-
顏寧回應“任職山大”
-
“迫害！這是公然侮辱菲律賓主權(quán)”
-
“30多國齊聚巴黎，唯獨沒叫美國”
-
“聽到這些機器人來自中國，他們常感到驚訝”
-
又一位頂尖數(shù)學家從美回國：我一直夢想這個機會
-
美烏沙特開談
-
佩斯科夫：別急著戴“玫瑰色眼鏡”看美國，必須…
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
