國(guó)內(nèi)公司的 AI 大模型研發(fā)雖然比國(guó)外公司晚，但是發(fā)展卻異常地迅速，其內(nèi)在邏輯便是：本土企業(yè)和學(xué)者對(duì)深度學(xué)習(xí)技術(shù)的深入理解與創(chuàng)新。在大模型的底層技術(shù)已經(jīng)固定的時(shí)代，他們靠著持續(xù)的探索和努力才能構(gòu)建出秀麗的“上層建筑”。

（本文作者為中國(guó)信通院華東分院，科工力量經(jīng)授權(quán)轉(zhuǎn)發(fā)。）

12月28日，2024中國(guó)信通院ICT+深度觀察報(bào)告會(huì)暨“虹橋之源”大模型驅(qū)動(dòng)數(shù)字經(jīng)濟(jì)新生態(tài)峰會(huì)拉開(kāi)帷幕，會(huì)上由國(guó)內(nèi)人工智能領(lǐng)域核心專業(yè)智庫(kù)中國(guó)信通院聯(lián)合上海人工智能實(shí)驗(yàn)室成立的大模型測(cè)試驗(yàn)證與協(xié)同創(chuàng)新中心，重磅首發(fā)《2023大模型落地應(yīng)用案例集》。這是國(guó)內(nèi)首部聚焦AI大模型落地應(yīng)用的權(quán)威研究成果，評(píng)選出的52個(gè)案例均為大模型商業(yè)落地的優(yōu)秀示范。本文將從52個(gè)案例為切入點(diǎn)，為大家呈現(xiàn)當(dāng)前AI行業(yè)的現(xiàn)狀與趨勢(shì)。

2022年底ChatGPT的橫空出世，引爆了國(guó)內(nèi)外大模型的熱情，各行各業(yè)的創(chuàng)業(yè)者已經(jīng)集結(jié)在十字路口蓄勢(shì)待發(fā)。

從國(guó)內(nèi)市場(chǎng)來(lái)看，目前人工智能（AI）大模型已經(jīng)在各行各業(yè)“落子不斷”。據(jù)公開(kāi)資料不完全統(tǒng)計(jì)顯示，國(guó)內(nèi)大模型的發(fā)展路徑是“通用+垂直”兩條腿走路，其中垂類大模型落地速度最快。從近日舉辦的2024中國(guó)信通院ICT+深度觀察報(bào)告會(huì)上海分會(huì)場(chǎng)發(fā)布的《2023大模型落地應(yīng)用案例集》來(lái)看，有近65%+的AI大模型是垂直大模型。

趨勢(shì)已然，大模型技術(shù)突破代表了AI發(fā)展的一個(gè)重要里程碑，下面筆者將梳理中國(guó)從業(yè)者構(gòu)建的“底層原創(chuàng)技術(shù)-中層基礎(chǔ)模型-上層行業(yè)應(yīng)用”的大模型圖鑒。

01. 大模型領(lǐng)域中國(guó)學(xué)者的技術(shù)貢獻(xiàn)

圖注：ResNet的四位作者分別是：何愷明、張祥雨、任少卿、孫劍

2016年，來(lái)自微軟亞洲研究院的四位學(xué)者提出深度殘差學(xué)習(xí)（ResNet），解決了深度網(wǎng)絡(luò)的梯度傳遞問(wèn)題。要知道，2015年之前深度學(xué)習(xí)最多只能訓(xùn)練20層，ResNet之后，就可以有效地訓(xùn)練超過(guò)百層的深度神經(jīng)網(wǎng)絡(luò)。

2017年Google發(fā)布Transformer，它的出現(xiàn)打穩(wěn)了AI大模型的“地基”，不僅“顛覆”了自然語(yǔ)言處理（NLP）中的機(jī)器翻譯任務(wù)，而且還提供了一種新的思路來(lái)處理圖像數(shù)據(jù)。

中國(guó)學(xué)者也圍繞Transformer做了許多改進(jìn)和完善，例如微軟亞洲研究院聯(lián)合西安交通大學(xué)推出LONGNET，將Transformer的序列長(zhǎng)度擴(kuò)展10億+；京東探索研究院聯(lián)合武漢大學(xué)提出全球首個(gè)面向遙感任務(wù)設(shè)計(jì)的億級(jí)視覺(jué)Transformer大模型；阿里達(dá)摩院提出新的Transformer結(jié)構(gòu)FMViT，大幅度提升AI模型精度與速度……

在大模型領(lǐng)域細(xì)數(shù)中國(guó)學(xué)者貢獻(xiàn)，許多原創(chuàng)性貢獻(xiàn)來(lái)自本土。已故的商湯科技創(chuàng)始人湯曉鷗（緬懷）在2023世界人工智能大會(huì)上，發(fā)表演講時(shí)表示：在深度學(xué)習(xí)的大門上，我們按了18次門鈴，取得了許多跨時(shí)代的突破。其中湯曉鷗提到了上海人工智能實(shí)驗(yàn)室領(lǐng)軍科學(xué)家林達(dá)華，他當(dāng)時(shí)設(shè)計(jì)的計(jì)算機(jī)視覺(jué)開(kāi)源算法體系OpenMMLab，目前已經(jīng)成為國(guó)際上最具影響力的視覺(jué)算法開(kāi)源體系。值得一提的是，林達(dá)華也是書(shū)生大模型體系的重要貢獻(xiàn)者。

京東探索研究院早在2021年年初就展開(kāi)了大模型體系（超級(jí)深度學(xué)習(xí)）的建設(shè)和基礎(chǔ)研究，領(lǐng)導(dǎo)京東建設(shè)了中國(guó)第一個(gè)NVIDIA DGX Superpod天琴alpah-α超算集群。在此基礎(chǔ)上，京東探索研究院的織女模型vega v2 在2022年登頂SuperGLUE榜首，一舉超越同場(chǎng)競(jìng)技的谷歌、微軟、Meta等業(yè)界頂尖企業(yè)；2021年研究院開(kāi)發(fā)的大規(guī)模視覺(jué)模型ViTAE，在ImageNet Real的目標(biāo)識(shí)別和MS COCO的人體姿態(tài)估計(jì)等權(quán)威榜單上均獲得世界第一。

圖注：（上）2022年京東探索研究院發(fā)表論文《Self-Evolution Learning for Discriminative Language Model Pretraining》，提出自我進(jìn)化學(xué)習(xí)方法，為vega v2大模型的設(shè)計(jì)提供核心思想；

（下）2021年京東探索研究院發(fā)表論文《ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias》，嘗試將 CNN和transformer相結(jié)合。

因此，國(guó)內(nèi)公司的 AI 大模型研發(fā)雖然比國(guó)外公司晚，但是發(fā)展卻異常地迅速，其內(nèi)在邏輯便是：本土企業(yè)和學(xué)者對(duì)深度學(xué)習(xí)技術(shù)的深入理解與創(chuàng)新。在大模型的底層技術(shù)已經(jīng)固定的時(shí)代，他們靠著持續(xù)的探索和努力才能構(gòu)建出秀麗的“上層建筑”。

在OpenAI發(fā)布ChatGPT之前，國(guó)內(nèi)的一些企業(yè)就已經(jīng)押注AI大模型技術(shù)：例如2021 年 4 月，華為云聯(lián)合循環(huán)智能發(fā)布盤古超大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，參數(shù)規(guī)模達(dá) 1 000 億；2021 年 6 月，北京智源人工智能研究院發(fā)布了超大規(guī)模智能模型“悟道 2.0”，參數(shù)規(guī)模達(dá)到 1.75 萬(wàn)億；2021 年 12 月，百度推出 ERNIE 3.0 Titan 模型，參數(shù)規(guī)模達(dá) 2 600 億，同期，阿里巴巴達(dá)摩院的 M6 模型參數(shù)達(dá)到 10 萬(wàn)億，將大模型參數(shù)直接提升了一個(gè)量級(jí)。

到2023年，大模型繼續(xù)火熱，國(guó)內(nèi)的AI大模型團(tuán)隊(duì)已逐漸拓展到視覺(jué)、決策領(lǐng)域，甚至用于解決蛋白質(zhì)預(yù)測(cè)、航天等領(lǐng)域的重大科學(xué)問(wèn)題，阿里、京東、oppo等大廠都有相應(yīng)的成果。