多模態(tài)、長文本與RPA（機(jī)器人流程自動(dòng)化）技術(shù)，在AI應(yīng)用的落地上又有新進(jìn)展。

3月28日，釘釘AI助理迎來重要升級，正式上線圖片理解、文檔速讀和工作流等產(chǎn)品能力。此次升級后，釘釘AI助理將擁有更強(qiáng)的視覺推理能力和長文本速讀能力。在AI助理對話框，用戶發(fā)送長文件、在線文檔、網(wǎng)頁鏈接、視頻內(nèi)容，即可進(jìn)行多輪交互和智能問答。

資料顯示，基于通義千問Qwen-VL-Max視覺理解模型，釘釘AI助理能夠準(zhǔn)確描述和識別圖片信息，并進(jìn)行信息推理、擴(kuò)展創(chuàng)作、文字提取和翻譯等；在收到用戶發(fā)來的視頻后，AI助理會根據(jù)視頻內(nèi)容生成字幕，提取關(guān)鍵詞，并生成一份智能摘要，對于最高2GB的視頻內(nèi)容，僅需3分鐘即可完成智能解讀。

喚醒這些功能也并不復(fù)雜：用戶在釘釘IM消息框或點(diǎn)擊魔法棒按鈕即可進(jìn)入AI助理對話框。

從初步測試來看，釘釘新版AI助理，已經(jīng)具備較為成熟的圖片識別和智能對話能力。

如下圖（左）所示，根據(jù)我們提供的照片，釘釘AI助理幾乎瞬間認(rèn)出了小貓的品種，并對該品種貓咪的特征和照片背景進(jìn)行了簡單描述；在沒有任何文字提醒，以及照片內(nèi)沒有文字提示的情況下，釘釘AI助理準(zhǔn)確識別了拍攝于上海迪士尼的城堡照片（如下圖右）。

釘釘實(shí)測圖片（下同）

多模態(tài)能力的加入，讓AI助理更具實(shí)用性，例如翻譯信息、提取文字等。

我們隨手拍攝并上傳了一張耳塞外包裝（純英文說明）圖片。在識別產(chǎn)品品牌、功能等常規(guī)信息之外，釘釘AI助理在外包裝明顯破損的情況下，對英文說明進(jìn)行了簡單分析和翻譯，并提取了關(guān)鍵詞。令人感到意外的是，在密集的英文印刷中，AI識別出了模糊的NRR信息（降噪等級），并提示用戶對此進(jìn)行關(guān)注。

對于表情包和網(wǎng)絡(luò)梗圖，釘釘AI助理也展示出一定的識別和推理能力。

綜合來看，基于通義千問Qwen-VL-Max視覺理解模型，釘釘AI助理能做的事情明顯變多了。

公開資料顯示，Qwen-VL-Max整體性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等測評中超過業(yè)界所有開源模型，在文檔分析（DocVQA）、中文圖像相關(guān)（MM-Bench-CN）等任務(wù)上超越GPT-4V，位于世界第一梯隊(duì)水平。

不過，AI助理也不是全能的。從實(shí)測來看，未來它仍有大量提升空間。例如對影視劇中穿戴墨鏡的人物，以及身著古裝服飾的人物，釘釘AI有時(shí)無法精準(zhǔn)識別。此外，對于“一個(gè)月才幾百塊，你玩什么命啊”這樣較為晦澀的網(wǎng)梗，AI的理解能力也有待繼續(xù)完善。

更新后，AI助理強(qiáng)化了文檔速讀和視頻速讀能力：用戶上傳相關(guān)的文件和視頻，即可得到一份內(nèi)容總結(jié)。

值得一提的是，根據(jù)不同需要，AI助理能生成各細(xì)分領(lǐng)域的助手，用戶還能通過鏈接等形式和他人分享。例如“我的歌曲助手”：用戶只需輸入音樂和唱法風(fēng)格等“訴求”，在約5分鐘左右的時(shí)間里，AI就會自動(dòng)生成歌曲，并發(fā)送至指定郵箱——初步來看，這些歌曲和音樂其實(shí)都有不錯(cuò)的完成度。

據(jù)公開資料，此次更新后，釘釘對“工作流”玩法也進(jìn)行了升級。用戶可以通過工作流，對AI執(zhí)行任務(wù)的流程進(jìn)行拆解和編排，主動(dòng)接管完成相應(yīng)操作，并打通外部系統(tǒng)數(shù)據(jù)和API能力，例如搭建能自動(dòng)寫腳本并生成視頻的創(chuàng)作AI助理等。為降低用戶的使用門檻，釘釘官方還將提供多種工作流模板。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。