觀察員
-
DeepSeek“開源周”，連續(xù)掏出兩大核心武器
-
張廣凱13764468101
今天是DeepSeek“開源周”第二日，DeepSeek宣布開源DeepEP，第一個用于MoE模型訓練和推理的開源EP通信庫。
昨天，DeepSeek則開源了代碼庫Flash MLA，這是針對Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核，針對可變長度序列作了優(yōu)化。
MoE（混合專家架構）和MLA（多頭潛在注意力機制）被認為是DeepSeek以低成本實現(xiàn)杰出表現(xiàn)的核心原因。
簡單理解，MoE架構是由多個專注于垂直技能的專家模型分工協(xié)作來實現(xiàn)最終輸出結果，訓練成本和推理成本更低。有消息稱，GPT-4就使用了MoE架構，由8個220B模型組成。但MoE架構的缺點之一是會增加通信成本。
DeepEP通信庫就是針對通信環(huán)節(jié)的優(yōu)化，其特點包括：高效、優(yōu)化的全員溝通；節(jié)點內(nèi)和節(jié)點間均支持 NVLink 和 RDMA；用于訓練和推理預填充的高吞吐量內(nèi)核；用于推理解碼的低延遲內(nèi)核；原生 FP8 調(diào)度支持；靈活的 GPU 資源控制，實現(xiàn)計算-通信重疊。
MLA則是讓模型預測更遠位置的token，從而增強語義理解能力。DeepSeek的Flash MLA專為英偉達Hopper GPU打造了高效MLA解碼內(nèi)核，特別針對變長序列進行了優(yōu)化。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權，不得轉(zhuǎn)載。
- 責任編輯: 張廣凱
-
DeepSeek帶動英偉達在華訂單大增？
2025-02-25 11:11 觀網(wǎng)財經(jīng)-科創(chuàng) -
-
國產(chǎn)GPU廠商被曝考慮赴港IPO，擬募資3億美元
2025-02-25 10:12 觀網(wǎng)財經(jīng)-科創(chuàng) -
今日頭條2024年攔截不實信息超500萬條，處置不友善內(nèi)容3億條
2025-02-24 22:12 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
京東：外賣騎手五險一金的所有成本，全部由京東承擔
2025-02-24 18:39 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
蘋果推出超低配iPhone16e的原因找到了？
2025-02-24 18:26 手機 -
?公開指責字節(jié)旗下紅果短劇壟斷，愛奇藝因何焦慮？
2025-02-24 18:21 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
茶咖日報｜霸王茶姬發(fā)起青年藝術共創(chuàng)計劃；喜茶攜手Adyen加速全球支付布局
2025-02-24 18:05 觀網(wǎng)財經(jīng)-消費 -
首款為原生鴻蒙而生的手機3月發(fā)布，騰訊回應余承東
2025-02-24 16:27 觀網(wǎng)財經(jīng)-科創(chuàng) -
喜茶海外首家LAB店落地紐約，美國門店已超20家
2025-02-24 16:15 觀網(wǎng)財經(jīng)-消費 -
工信部副部長熊繼軍：加快完善我國開源生態(tài)體系建設
2025-02-24 14:20 觀網(wǎng)財經(jīng)-科創(chuàng) -
超百億加碼+深度創(chuàng)新，SHEIN鏈深耕服裝產(chǎn)業(yè)升級
2025-02-24 13:47 -
事關AI，阿里宣布：將投3800億
2025-02-24 10:46 人工智能 -
全球開發(fā)者先鋒大會在上海開幕，有哪些看點？
2025-02-22 22:55 觀網(wǎng)財經(jīng)-科創(chuàng) -
黃仁勛首度回應DeepSeek沖擊
2025-02-22 20:49 人工智能 -
沈向洋談DeepSeek：開源和閉源不是對立的商業(yè)模式
2025-02-22 19:32 觀網(wǎng)財經(jīng)-科創(chuàng) -
元寶下載量僅次于DeepSeek！騰訊股價創(chuàng)近4年來新高
2025-02-22 18:27 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
道指跌超700點，中概股逆勢上漲
2025-02-22 11:41 -
全球折疊屏出貨罕見大跌18%：華為超三星成第一，榮耀聯(lián)想進前五
2025-02-21 21:58 觀網(wǎng)財經(jīng)-科創(chuàng) -
僅僅10年前，中國游客還在東京秋葉原搶馬桶蓋
2025-02-21 21:10 中國經(jīng)濟
相關推薦 -
-
“剛剛，我看到了未來，它不在美國” 評論 93
特朗普竟對中國征收34%“對等關稅” 評論 964
解放日？“對于市場而言這是‘屠戮日’” 評論 69
“世界變了”，加拿大汽車零部件巨頭瞄準中國市場 評論 35
“中國對美反制，巴西看到了機會” 評論 43最新聞 Hot-
“剛剛，我看到了未來，它不在美國”
-
結束全球化？“不是按個開關，美國就能變成工業(yè)國家了”
-
諾獎得主克魯格曼：特朗普在貿(mào)易上已經(jīng)徹底瘋了
-
特朗普“汽車關稅”也落地了，“日本GDP將萎縮0.3%”
-
“白宮已接近批準”，美方想租用算法？
-
提到日本關稅還念念不忘：我說的話，安倍秒懂
-
“沒有美國這么對朋友的！但…”
-
連企鵝都不放過！特朗普向無人島征稅10%
-
美媒感慨：面對特朗普威脅，中國毫不退縮
-
美對等關稅清單竟將臺灣列為“國家”
-
前谷歌學者羅劍嵐加入智元機器人，任首席科學家
-
遼吉蒙2024年常住人口總量繼續(xù)下降，出生人口略回升
-
比歐盟少一半，英國樂了
-
這個時候，澳企緊急喊話：必須對華合作，這是當務之急
-
四川省委原常委崔保華，被逮捕
-
特朗普私下放風？白宮、馬斯克雙雙否認
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
