觀察者網(wǎng)：能不能具體講一下紫東太初這個多模態(tài)大模型以音聲圖、以圖生音的應用案例？

徐波：以圖生音為例?？梢圆唤?jīng)過文本，直接在一個共通語義空間做轉換，就是語義到語音的直接合成。以音生圖，它不是先識別語音，再做文本的檢索，而是直接在一個語義空間里面把這個聲音轉換成圖像。所以我們?yōu)槭裁凑f這個是通用人工智能路徑的探索，就是通過圖文音三個模態(tài)固化出一個人類非常模糊但是非常有用，只是不知道人類大腦是怎么表達的一個語義空間的表征。

除此之外，我們還可以給出一個多模態(tài)大模型的互動演示，涉及到很多的語音識別，語音合成，包括對圖像的描述，中文的續(xù)寫等等，通過語義空間直接的轉換來完成。

這一系列的展示，是非常類人的多模態(tài)交互。它可以任意輸入語音、圖像或者文字，去輸出語音，圖像和文字的任意一種，真正實現(xiàn)三個模態(tài)之間的關聯(lián)跟協(xié)同。它們中間就是我們講的“統(tǒng)一的語義空間”。

這里主要表達三個觀點，一是大數(shù)據(jù)+大模型+多模態(tài)，將改變當前單一模型與單一任務人工智能的研發(fā)模式，多模態(tài)大模型將成為不同領域的共性平臺技術。

其次，在目前的研究當中，有一種慣性思維是做人工智能都要用大數(shù)據(jù)，而當知識與數(shù)據(jù)混合驅動，增強模型的可信、可理解能力后，我相信隨著這些技術的發(fā)展，人工智能學習對有標注的數(shù)據(jù)的依賴性會越來越小。

此外，國產(chǎn)化通用人工智能具有很高的技術門檻，需要大量的資金與數(shù)據(jù)的支撐，將使得人工智能的研究規(guī)則發(fā)生重大變革，對我國實現(xiàn)人工智能領域科技創(chuàng)新，占領核心技術高地具有重要戰(zhàn)略意義。以圖生音，以音生圖，效果甚至出乎我們自己的想象，這也帶給我們一項啟發(fā)，讓我們對未來的人工智能又增加的無窮的想象力。

所以，多模態(tài)大模型人工智能值得我們進一步去探索，值得我們進一步探索更巧結構、更大規(guī)模、更強理解能力的模型以及相應的評估標準，也值得我們把這樣的技術跟產(chǎn)業(yè)需求更好的結合起來。

再舉一些生活化的例子。比如說，利用大模型可以實現(xiàn)歐洲杯轉播的人工智能自動解說；在影視拍攝領域，可以根據(jù)劇本的文字自動生成畫面和場景，供導演再加工；在教育領域可以根據(jù)語義內(nèi)涵，自動生成畫面和聲音、甚至生成全新的音樂（而非在既有樂庫中選?。愃茖崿F(xiàn)媽媽給孩子講故事等功能，讓人工智能具備初步的想象力和藝術創(chuàng)作力。其實這與人類大腦工作機制是比較類似的。

觀察者網(wǎng)：紫東太初能夠快速面世，主要原因都有哪些？

徐波：這涉及到多方面的原因。

首先，主要得益于非常強大的基礎研究能力。通過多模態(tài)實現(xiàn)更加強大的人工智能一直是我們的夢想。從去年開始，在各研究團隊單模態(tài)大模型取得階段性成果基礎上，我們組織所內(nèi)優(yōu)勢力量聯(lián)合投入開始多模態(tài)攻關；第二，我們以中國自主的昇騰人工智能基礎軟硬件平臺為基礎，運用包括昇騰芯片和全場景人工智能計算框架MindSpore來打造多模態(tài)通用人工智能平臺，通過對外交流合作大大加速了這個過程。

目前平臺具備了三大關鍵技術（多模態(tài)理解與生成的多任務統(tǒng)一建模、面向國產(chǎn)化軟硬件的高效訓練與部署、多模態(tài)預訓練模型架構設計與優(yōu)化），和六項核心能力（多模態(tài)統(tǒng)一表示與語義關聯(lián)、跨模態(tài)內(nèi)容轉化與生成、預訓練模型網(wǎng)絡架構設計、標注受限自監(jiān)督模型學習、模型適配與分布式訓練、模型輕量化與推理加速）。

在這里，要糾正一個誤區(qū)。模型并不是越大越好，大模型出來以后怎么做輕量化和推理的加速，是攻關的重要方向之一。目前的圖文音三模態(tài)大模型，與單模態(tài)和圖-文兩模態(tài)相比，可以支撐全場景的人工智能應用，包括像視頻配音、語音播放、標題摘要、海報制作、跨模態(tài)檢索、圖像生成等等。

此外，三模態(tài)大模型跟國產(chǎn)軟硬件的技術合作非常關鍵。未來人工智能將成為人類社會的基礎設施，就像現(xiàn)在的水、電、煤一樣，必須實現(xiàn)此類技術的自主可控。目前，國內(nèi)已經(jīng)具備全棧式基礎軟硬件條件能力，要做到“從可以用”到“很好用”的成熟生態(tài)，需要多方一起合作。

觀察者網(wǎng)：作為人工智能領域的國家隊，中科院自動化研究所多模態(tài)大模型是如何布局的？

徐波：中科院自動化研究所以打造新時代智能科學與技術戰(zhàn)略科技力量作為己任，擁有模式識別國家重點實驗室、復雜系統(tǒng)管理與控制國家重點實驗室兩個人工智能研究平臺。依托這兩個國家級平臺，已經(jīng)在機器學習、圖像與視頻、語音與語言、智能機器人、智慧醫(yī)療、社會計算等領域取得了豐富的研究成果，獲得多項國家級的獎項。

我們一直在探索更強大的人工智能，通過多模態(tài)實現(xiàn)更加通用的人工智能是其中一條研究主線。通用智能不同于強人工智能，但它至少應該適應不同的環(huán)境和任務遷移。我們在已有語音、圖像、視頻、文本等單模態(tài)研究基礎上，重點在多模態(tài)學習基礎理論、多模態(tài)語義統(tǒng)一表示、大規(guī)模訓練平臺、多模態(tài)數(shù)據(jù)以及評估標準等方面進行多團隊聯(lián)合攻關。

同時我們不斷加強對外合作交流。我們通過跟華為昇騰以及武漢人工智能計算中心的合作，最終使多模態(tài)大模型得以問世。通用人工智能之路需要不斷探索，而不是坐而論道。只有真正做出一些階段性成果才能對技術發(fā)展路線有更加清晰的認識，也能對未來人工智能的發(fā)展有更加清晰的認知。

觀察者網(wǎng)：你們在研究多模態(tài)大模型的時候有沒有考慮到AI的產(chǎn)業(yè)化和普惠性的問題？

徐波：這個問題仍然需要進一步探討?，F(xiàn)在市場上有大量的音視頻處理需求，確實跟我們的多模態(tài)信息處理能力很契合?！白蠔|太初”剛剛誕生，在有些場景下已經(jīng)開始使用。下一步，我們準備繼續(xù)優(yōu)化這個平臺，按照節(jié)奏規(guī)劃對外開放。同時，我們將把更多的精力聚焦在多模態(tài)大模型上面，把它做得更準確，效率更高、能耗更低。這將為現(xiàn)在的人工智能研發(fā)模式和產(chǎn)學研轉化模式帶來巨大變化。

觀察者網(wǎng)：最后一個問題，為什么說研究跨模態(tài)人工智能平臺是通用人工智能路徑的探索？

徐波：通用人工智能大家都比較關心，因為它將對現(xiàn)有的人工智能研發(fā)范式起顛覆性影響。但是，什么是通用人工智能？是不是就是強人工智能？是不是就是跟人一樣的人工智能？這些都還沒有特別明確的定義。但是業(yè)內(nèi)普遍認為，通用人工智能要有一種“泛化能力”，一定要用較少的代價去完成多任務的遷移執(zhí)行。

通用人工智能一直是技術界的一個夢想，不同的專家都在從不同的路徑去探索。有的人希望通過復制人腦或者受腦啟發(fā)去實現(xiàn)通用人工智能；DeepMind是希望通過進化博弈的方法，最終走向通用人工智能；預訓練大模型則是基于數(shù)據(jù)自監(jiān)督學習的智能探索。不同路徑解決的階段性問題各有側重，但最終一定會融合。目前走在最前面的還是多模態(tài)大模型，“紫東太初”是最新的嘗試，尤其是語義空間的表征突破，會對人工智能實現(xiàn)通用化帶來非常大的變化。

無疑這扇大門正在打開。

本文系觀察者網(wǎng)獨家稿件，文章內(nèi)容純屬作者個人觀點，不代表平臺觀點，未經(jīng)授權，不得轉載，否則將追究法律責任。關注觀察者網(wǎng)微信guanchacn，每日閱讀趣味文章。