觀察員
-
根據圖片識人、識物，釘釘AI升級多模態能力
-
周毅是故意的還是不小心？
多模態、長文本與RPA（機器人流程自動化）技術，在AI應用的落地上又有新進展。
3月28日，釘釘AI助理迎來重要升級，正式上線圖片理解、文檔速讀和工作流等產品能力。此次升級后，釘釘AI助理將擁有更強的視覺推理能力和長文本速讀能力。在AI助理對話框，用戶發送長文件、在線文檔、網頁鏈接、視頻內容，即可進行多輪交互和智能問答。
資料顯示，基于通義千問Qwen-VL-Max視覺理解模型，釘釘AI助理能夠準確描述和識別圖片信息，并進行信息推理、擴展創作、文字提取和翻譯等；在收到用戶發來的視頻后，AI助理會根據視頻內容生成字幕，提取關鍵詞，并生成一份智能摘要，對于最高2GB的視頻內容，僅需3分鐘即可完成智能解讀。
喚醒這些功能也并不復雜：用戶在釘釘IM消息框或點擊魔法棒按鈕即可進入AI助理對話框。
從初步測試來看，釘釘新版AI助理，已經具備較為成熟的圖片識別和智能對話能力。
如下圖（左）所示，根據我們提供的照片，釘釘AI助理幾乎瞬間認出了小貓的品種，并對該品種貓咪的特征和照片背景進行了簡單描述；在沒有任何文字提醒，以及照片內沒有文字提示的情況下，釘釘AI助理準確識別了拍攝于上海迪士尼的城堡照片（如下圖右）。
釘釘實測圖片（下同）
多模態能力的加入，讓AI助理更具實用性，例如翻譯信息、提取文字等。
我們隨手拍攝并上傳了一張耳塞外包裝（純英文說明）圖片。在識別產品品牌、功能等常規信息之外，釘釘AI助理在外包裝明顯破損的情況下，對英文說明進行了簡單分析和翻譯，并提取了關鍵詞。令人感到意外的是，在密集的英文印刷中，AI識別出了模糊的NRR信息（降噪等級），并提示用戶對此進行關注。
對于表情包和網絡梗圖，釘釘AI助理也展示出一定的識別和推理能力。
綜合來看，基于通義千問Qwen-VL-Max視覺理解模型，釘釘AI助理能做的事情明顯變多了。
公開資料顯示，Qwen-VL-Max整體性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等測評中超過業界所有開源模型，在文檔分析（DocVQA）、中文圖像相關（MM-Bench-CN）等任務上超越GPT-4V，位于世界第一梯隊水平。
不過，AI助理也不是全能的。從實測來看，未來它仍有大量提升空間。例如對影視劇中穿戴墨鏡的人物，以及身著古裝服飾的人物，釘釘AI有時無法精準識別。此外，對于“一個月才幾百塊，你玩什么命啊”這樣較為晦澀的網梗，AI的理解能力也有待繼續完善。
更新后，AI助理強化了文檔速讀和視頻速讀能力：用戶上傳相關的文件和視頻，即可得到一份內容總結。
值得一提的是，根據不同需要，AI助理能生成各細分領域的助手，用戶還能通過鏈接等形式和他人分享。例如“我的歌曲助手”：用戶只需輸入音樂和唱法風格等“訴求”，在約5分鐘左右的時間里，AI就會自動生成歌曲，并發送至指定郵箱——初步來看，這些歌曲和音樂其實都有不錯的完成度。
據公開資料，此次更新后，釘釘對“工作流”玩法也進行了升級。用戶可以通過工作流，對AI執行任務的流程進行拆解和編排，主動接管完成相應操作，并打通外部系統數據和API能力，例如搭建能自動寫腳本并生成視頻的創作AI助理等。為降低用戶的使用門檻，釘釘官方還將提供多種工作流模板。
本文系觀察者網獨家稿件，未經授權，不得轉載。
- 責任編輯: 周毅
-
華為去年營收7042億，凈利潤增長144%
2024-03-29 17:00 觀網財經-科創 -
“中國消耗這2000億度電，給全球貢獻了10萬億度清潔能源”
2024-03-29 14:50 博鰲論壇 -
萬科高管自愿降薪至每月稅前1萬元，曾年薪千萬
2024-03-29 11:14 -
投入百億真金白銀，淘寶加碼內容電商
2024-03-29 10:36 觀網財經-互聯網 -
光大銀行營收凈利雙降、股價大跌，行長：經營基本面穩定
2024-03-28 21:50 觀網財經-金融 -
菜鳥歸巢，阿里進入“分拆上市”冷靜期
2024-03-28 21:32 觀網財經-互聯網 -
遭網易《蛋仔派對》地圖作者起訴，騰訊《元夢之星》回應
2024-03-28 18:55 觀網財經-互聯網 -
中國在全球率先商用5.5G，首批百城名單公布
2024-03-28 17:20 觀網財經-科創 -
去年扣非虧損收窄，京東方砸630億繼續增產OLED
2024-03-28 15:18 觀網財經-金融 -
219克“堆料冠軍”背后，中國折疊屏競爭正走向白熱化
2024-03-28 13:47 觀網財經-科創 -
今年中央財政預計收入總額超16萬億元，“細賬”公開
2024-03-27 16:03 觀網財經-宏觀 -
百億級股權交易，央企華潤將成中國最大芯片封測廠實控人
2024-03-27 15:57 觀網財經-金融 -
淘寶清倉B站，阿里巴巴再“瘦身”
2024-03-27 14:41 觀網財經-互聯網 -
沈輝接任高鑫零售CEO，原CEO林小?；貧w阿里
2024-03-27 09:58 觀網財經-互聯網 -
阿里37.5億美元收購菜鳥剩余股權，撤回上市申請
2024-03-26 19:26 觀網財經-互聯網 -
再次掉頭向下，2月國內手機出貨急跌超30%
2024-03-26 18:10 觀網財經-科創 -
?大戶存款首破十萬億，招行收入為何14年來首次下滑？
2024-03-26 17:53 觀網財經-金融 -
8年財務造假累計逾10億，上市公司及相關人員擬被罰超2000萬
2024-03-26 15:27 觀網財經-金融 -
字節旗下飛書宣布裁員：組織不夠精干效率在變低
2024-03-26 15:20 觀網財經-互聯網 -
外媒炒中國政府采購“禁用”英特爾和AMD，真實情況如何？
2024-03-26 13:43 觀網財經-科創
相關推薦 -
-
“中國在非洲真正贏得了民心，就連斯威士蘭…” 評論 20
“日企抱團是絕望之舉，中國工廠效率質量都是第一” 評論 81
“她下月訪華，盡管特朗普團隊表達了擔憂” 評論 46
“中國有能力讓夢想照進現實，將贏得史詩般競爭” 評論 110
美國政府“逃過一劫” 評論 125最新聞 Hot-
“中國在非洲真正贏得了民心，就連斯威士蘭…”
-
“日企抱團是絕望之舉，中國工廠效率質量都是第一”
-
“中國有能力讓夢想照進現實，將贏得史詩般競爭”
-
被災民暴罵到當場破防，馬克龍發飆：你該慶幸你在法國！
-
美高校敦促國際學生抓緊回來：萬一把中印拉黑名單呢
-
美國政府“逃過一劫”
-
“澤連斯基要求歐盟新外長：對華批評要降調”
-
澳大利亞來了，中國就得走人？澳總理這么回應
-
美媒感慨：基建狂魔發力，我們又要被超越了
-
英國剛公布新任大使，特朗普顧問就痛罵：傻X
-
“來自中國的老大哥能確保我們…”
-
俄羅斯的報復來了
-
澤連斯基罵普京“傻子”，俄方怒斥
-
還在扯皮中國，“涉華條款全刪了”
-
中國“光伏OPEC”發文嚴厲質問央企，怎么回事？
-
“最后一道貿易障礙，中國解除了！”
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯網新聞信息服務許可證：31220170001
網登網視備（滬）02020000041-1號 互聯網宗教信息服務許可證：滬（2024）0000009
廣播電視節目制作經營許可證：（滬）字第03952號
增值電信業務經營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網安備 31010502000027號
中國互聯網舉報中心
上海市互聯網違法與不良信息舉報中心
