理解場景之后，AI的下一站是多模態(tài)能力？

圍繞行業(yè)場景，一些“解決方案”已經(jīng)出爐。

據(jù)何曉冬介紹，通過5分鐘的形象和數(shù)據(jù)采集，基于大模型能力，京東可以重構整個數(shù)字人形象，并推向應用場景。比如在電商這個場景中。言犀虛擬主播已經(jīng)在京東上線了4000+品牌直播間，累計帶動8億GMV（商品交易總額）。

不過重視場景應用，或許只是大模型全球競賽的現(xiàn)在，而非將來。

何曉冬表示，人們不要只關注到ChatGPT帶來的語言大模型。實際上，大模型技術在很多其他模態(tài)上也在迅速應用起來，比如語音識別和語音合成，比如視覺領域的圖像識別和視頻合成——當然也包括數(shù)字人?！皵?shù)字人既有形象，又有語音，還有手勢，還有語義，還有各種情緒在里面。”

何曉冬表示，多模態(tài)是必經(jīng)之路，無論是發(fā)明神經(jīng)網(wǎng)絡或者是注意力機制，其實都是基于對人本身學習機制的理解和靈感的激發(fā)，從而去引領我們發(fā)明一系列模型。有趣的是，今年不少參會企業(yè)，似乎都對“數(shù)字人”情有獨鐘，由此可見各界對多模態(tài)能力的重視。

今年WAIC大會上，騰訊云MaaS（Model-as-a-Service）一站式服務迎來升級。騰訊云行業(yè)大模型能力將被應用到金融風控、交互翻譯、數(shù)智人客服等場景中。通過平臺提供的AI生成算法、生成式動作驅(qū)動，再結合行業(yè)大模型能力，企業(yè)可以獲得個性化、專業(yè)、逼真的數(shù)字員工。數(shù)字人，其實就涉及到多模態(tài)能力。

《人機共生——大模型時代的十大AI趨勢觀察》報告指出，多模態(tài)技術的發(fā)展正在助力AI解決更為復雜的問題。擁有圖像和語音的感知、輸入，大模型未來可以基于動作、表情、情感等信息進行分析，提升自己的交互能力和表現(xiàn)能力。目前基于文本的交互，也將走向基于語義的交互，強化對人類情緒的感知和表達。

現(xiàn)場圖

需要承認的是，在多模態(tài)等通往未來的賽道上，挑戰(zhàn)依然存在。

ChatGPT-4早已開始接受圖像作為輸入介質(zhì)，它已經(jīng)能簡練地指出圖片的違和之處。如下圖所示，當用戶提問，“這張圖片有什么不尋常之處”時，GPT-4簡練地回答出“一名男子正在行駛中的出租車車頂上，使用熨衣板熨燙衣服?！?

在今年的WAIC大會上，談及國內(nèi)外在大模型方面的差距，曠視科技聯(lián)合創(chuàng)始人、CTO唐文斌對《科創(chuàng)板日報》表示，不管是基礎語言模型還是多模態(tài)模型，國內(nèi)外都存在一定的距離?！安贿^，這是可以迎頭趕上的。在應用的探索上，也處于相對初期的狀態(tài)。但未來會是繁榮的生態(tài)。”

方興未艾，眼下正是國內(nèi)企業(yè)積極作為之時。

在接受觀察者網(wǎng)對話時，何曉冬表示，未來通用人工智能有兩個方向要走，一個方向是多模態(tài)，大模型必須具有視覺能力，未來甚至可以更進一步延伸向嗅覺、觸覺；另外一個方向是走向具身智能，包括機器人、機械臂、無人車等，讓通用人工智能走向物理世界。

本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權，不得轉(zhuǎn)載。