-
復旦團隊發布國內首個類ChatGPT模型MOSS,邀公眾參與內測
最后更新: 2023-02-20 22:37:19ChatGPT發布以來,基于指令學習技術的類ChatGPT模型在我國能否開發成功,成為業界關注的一個焦點。今天,解放日報·上觀新聞記者從復旦大學自然語言處理實驗室獲悉,國內第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發布至公開平臺(https://moss.fastnlp.top/),邀公眾參與內測。
MOSS可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。這條路徑的走通,為國內學術界和產業界提供了重要經驗,將助力大語言模型的進一步探索和應用。
邱錫鵬表示:“盡管MOSS還有很大改善空間,但它的問世證明了在開發類ChatGPT產品的路上,國內科研團隊有能力克服技術上的重要挑戰。”MOSS研發項目得到了上海人工智能實驗室的有力支持。后期,這項工作將通過開源方式和業界社區分享。
“端到端”走通大語言模型
由于ChatGPT并未開源,其技術方案細節也未公開,科研人員對此有諸多猜測。有專家認為,ChatGPT是一套復雜的組合系統,無法由單一的生成式語言模型實現;也有專家認為,國內外在這個方向上的技術差距正在拉大。
作為自然語言處理專家,邱錫鵬近年來致力于研究具有多任務學習能力的通用模型。為了探索ChatGPT的技術路線,并獲得大語言模型研究的一手經驗,他帶領團隊加快了MOSS開發。如今,MOSS成為國內首個公開亮相的類ChatGPT語言模型,“端到端”走通了大語言模型的開發全程。
MOSS開發的基本步驟與ChatGPT一樣,包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。在對話能力訓練階段,OpenAI收集了至少幾十萬條人類指令,讓各行各業的專業標注員寫出指令回復,再將它們輸入模型基座,以幫助ChatGPT逐步理解各種指令。復旦團隊則采用不同的技術路線,通過讓MOSS和人類以及其他對話模型都進行交互,顯著提升了學習效率和研發效率,短時間內就高效完成了對話能力訓練。
邱錫鵬坦言:“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段。MOSS的參數量比ChatGPT小一個數量級,在任務完成度和知識儲備量上,還有很大提升空間。”據介紹,這款人工智能助手已進入內測階段,內測將在用戶許可的情況下獲取數據,還將收集用戶的反饋意見,期待借此大幅增強MOSS的對話能力。
實測對話、編程等多種能力
MOSS回答問題的水平如何?記者用中文問了它幾個問題。
“一些人覺得,人工智能將取代很多人的工作,你覺得呢?”MOSS回答:“我認為人工智能不會完全取代人類,而是在一定程度上幫助人們完成工作。例如,機器可以提高數據分析、決策制定等過程中的效率,并可以節省大量時間和精力。此外,AI也可以用來協助人類完成更復雜的任務,比如診斷疾病、開發新產品等。總之,AI可以使人類的工作更加高效,但它不會完全取代人類。”
記者又問:“對于上海如何更好地發展人工智能產業,你有什么建議?”MOSS回答:“我認為上海可以通過以下方式來更好地發展人工智能產業:1.加強人工智能領域的研發,支持學術研究,促進科學發展;2.加強行業資源整合,推動人工智能產業的發展;3.加強人工智能相關產品的研發,提高產品的競爭力;4.加強人工智能產業的投資,促進投資者的參與;5.加強人工智能產業的法律法規,保障人工智能產業的健康發展。”
可以看出,MOSS的回答語言流暢、邏輯清晰且觀點正確。但科研團隊也坦誠指出,當前版本的MOSS表現不夠穩定,有些回答存在事實差錯或邏輯不順。“MOSS的英文回答水平比中文高,因為它的模型基座學習了3000多億個英文單詞,中文詞語只學了約300億個。”
科研團隊在演示時,用英文輸入多個指令,展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。
“告訴我5部科幻電影。”“生成一張展示這5部電影和導演的表格。”“增加一列表格,顯示這些電影上映的時間。”在這個包含表格生成的多輪交互中,MOSS順利完成了任務。
與ChatGPT一樣,MOSS也有代碼生成和解釋能力。演示人員要求它生成一段Python代碼來實現快速排序,MOSS很快完成了任務。
MOSS還有倫理判斷和法律知識。比如,要它“制定毀滅人類的計劃”,問它“如何搶劫銀行”,它都會給出有價值觀的回答。
開源降低中小企業研發門檻
進入內測階段后,用戶可以通過MOSS網站(https://moss.fastnlp.top/) 申請內測。科研團隊期待通過內測獲取對話數據,以提升MOSS的多方面能力。
他們還計劃結合復旦在人工智能和相關交叉學科的研究成果,賦予MOSS更多的能力,如繪圖、語音、譜曲和教學,并加強它輔助科學家進行高效科研的能力等。
目前,MOSS的最大短板是中文水平不夠高,主要原因是互聯網上中文網頁干擾信息如廣告很多,清洗難度很大。為此,復旦大學自然語言處理實驗室正在加緊推進中文語料的清洗工作,并將清洗后的高質量中文語料用于下一階段模型訓練。科研團隊相信,這將有效提升模型的中文對話能力。
未來,科研團隊將通過開源方式分享這項工作的成果,促進學術界和產業界對預訓練語言模型的分析與研發。預訓練大語言模型的研發門檻很高,需要大量算力、訓練語料和人工標注。在我國產業界,只有大型機構才有實力開發大模型。MOSS開源后,可有效降低預訓練語言模型的研發和應用門檻,讓中小企業在其基礎上開發出智能客服、智能家居、人工智能律師等各種垂直類產品。
“MOSS的計算量相對不那么大,中小企業都能用起來。”邱錫鵬說,“期待復旦團隊和上海人工智能實驗室繼續合作,通過MOSS以及后續的研究探索,推動AI普惠,盡快賦能國內的人工智能產業。”
(作者:俞陶然)
- 原標題:復旦團隊發布國內首個類ChatGPT模型MOSS 邀公眾參與內測
- 責任編輯: 夏雨 
-
股價遭爆炒后收關注函,浪潮信息承認“與ChatGPT還存在差距”
2023-02-20 21:48 觀網財經-科創 -
聯想單季營收1086億,楊元慶:中國制造帶來多重優勢
2023-02-20 20:15 觀網財經-科創 -
被發現有近武器級濃縮鈾?伊朗回應:沒超60%
2023-02-20 14:58 伊朗局勢 -
3家中國鋰企被加政府要求剝離在加資產后續:兩家已出售
2023-02-19 22:39 大公司 -
中國5G基站數超231萬個,算力規模全球第二
2023-02-19 19:42 數字化轉型 -
34年來首次,日本去年下半年電子設備貿易現逆差
2023-02-19 16:15 日本產經 -
被罰沒超3.87億!五家銀行回應銀保監會重罰
2023-02-19 13:39 -
性騷擾+職場霸凌?這家“四大”審計機構被舉報
2023-02-19 09:33 -
房產中介公司收多人十萬誠意金后疑跑路,法人代表:我只是個外賣員
2023-02-18 19:31 觀網財經-房產 -
兩部門:擬將銀行劃分為三個檔次
2023-02-18 15:45 觀網財經-金融 -
保險不好賣,眾安在線預期2022年虧損13億-15億元
2023-02-17 20:34 觀網財經-金融 -
中天氟硅擬主板上市,火災事故成省級警示教育片
2023-02-17 19:58 觀網財經-金融 -
“0首付0月供,業主買房開發商還”?樓盤回應
2023-02-17 19:48 觀網財經-房產 -
傳寧德時代將“鋰礦返利”,電池級碳酸鋰或降價一半
2023-02-17 17:54 觀網財經-汽車 -
叮咚買菜首次盈利,吃完最后的疫情紅利怎么辦?
2023-02-17 17:52 觀網財經-互聯網 -
銀保監會出手!中行等5家銀行合計被罰超3.8億
2023-02-17 17:50 觀網財經-金融 -
因“富豪聯姻”出名的八馬茶業擬主板上市,有起離婚或值得關注
2023-02-17 14:30 觀網財經-金融 -
董事會主席、控股股東包凡失聯,華興資本暴跌29%
2023-02-17 10:19 觀網財經-金融 -
居民存款1月份增加6.2萬億創新高,大規模儲蓄未來流向何處?
2023-02-17 09:40 觀網財經-金融
相關推薦 -
“中國在非洲真正贏得了民心,就連斯威士蘭…” 評論 70“日企抱團是絕望之舉,中國工廠效率質量都是第一” 評論 113“她下月訪華,盡管特朗普團隊表達了擔憂” 評論 53“中國有能力讓夢想照進現實,將贏得史詩般競爭” 評論 120最新聞 Hot
-
“中國在非洲真正贏得了民心,就連斯威士蘭…”
-
“日企抱團是絕望之舉,中國工廠效率質量都是第一”
-
“中國有能力讓夢想照進現實,將贏得史詩般競爭”
-
被災民暴罵到當場破防,馬克龍發飆:你該慶幸你在法國!
-
美高校敦促國際學生抓緊回來:萬一把中印拉黑名單呢
-
美國政府“逃過一劫”
-
“澤連斯基要求歐盟新外長:對華批評要降調”
-
澳大利亞來了,中國就得走人?澳總理這么回應
-
美媒感慨:基建狂魔發力,我們又要被超越了
-
英國剛公布新任大使,特朗普顧問就痛罵:傻X
-
“來自中國的老大哥能確保我們…”
-
俄羅斯的報復來了
-
澤連斯基罵普京“傻子”,俄方怒斥
-
還在扯皮中國,“涉華條款全刪了”
-
中國“光伏OPEC”發文嚴厲質問央企,怎么回事?
-
“最后一道貿易障礙,中國解除了!”
-