-
OpenAI發(fā)布災(zāi)備架構(gòu)應(yīng)對大模型風(fēng)險,AI安全問題正在成為關(guān)注焦點
最后更新: 2023-12-19 14:47:08(觀察者網(wǎng)訊)當(dāng)?shù)貢r間12月18日,OpenAI在官網(wǎng)發(fā)布災(zāi)備架構(gòu)測試版介紹文檔,描述該架構(gòu)應(yīng)對流程以跟蹤、評估、預(yù)測和防范日益強大的模型帶來的災(zāi)難性風(fēng)險。OpenAI規(guī)定了四個安全風(fēng)險等級,并表示只有得分在“中”或以下的模型才能部署。
OpenAI災(zāi)備架構(gòu)測試版文檔 圖片來源:OpenAI
據(jù)路透社報道,由微軟支持的OpenAI只會在確認(rèn)沒有網(wǎng)絡(luò)和核等方面安全威脅的情況下才會部署其最新的技術(shù)。此外,該公司還正在創(chuàng)建一個咨詢小組來審查AI安全報告,并將其審查結(jié)果發(fā)送給公司的高管和董事會。這樣可以確保雖然AI運行的決策權(quán)在高管手中,但董事會可以推翻這些決策。
OpenAI災(zāi)備架構(gòu) 圖片來源:OpenAI
該文檔的提出被認(rèn)為是OpenAI進(jìn)一步加強AI應(yīng)用安全監(jiān)管的一個嘗試。近期由于AI的快速發(fā)展,AI應(yīng)用的安全性問題被廣泛關(guān)注。
對于AI應(yīng)用安全這一問題,長期以來有兩派觀點,即有效加速主義和AI對齊思想。
有效加速主義(Effective accelerationism,簡稱為“e/acc”)是一種21世紀(jì)基于科技發(fā)展而興起的哲學(xué)思想。其支持者一般認(rèn)為,由人工智能驅(qū)動的進(jìn)步是一種偉大的社會平等器,應(yīng)該被推動前進(jìn)。因此,不惜一切代價,采用包括加速商業(yè)化在內(nèi)的一切手段,推動技術(shù)進(jìn)步才是唯一在道德上合理的行動方針。值得注意的是,一般認(rèn)為OpenAI的現(xiàn)任CEO山姆·奧特曼(Sam Altman)是有效加速主義的支持者。
與有效加速主義對應(yīng)的是AI對齊(AI alignment)思想,該派理論則更注重AI安全問題,強調(diào)人工智能系統(tǒng)的對齊問題,即如何確保未來超出人類智能的超級人工智能系統(tǒng)的行動目標(biāo)與人類的目標(biāo)一致。因為如果人工智能系統(tǒng)的目標(biāo)與人類的目標(biāo)不一致,可能會導(dǎo)致不可預(yù)見和潛在的危險后果。OpenAI中負(fù)責(zé)AI安全并參與罷黜CEO山姆·奧特曼的首席科學(xué)家伊利亞·蘇茨克韋爾(Ilya Sutskever)等人,以及此前從OpenAI脫離并創(chuàng)立大語言模型Claude的達(dá)里奧·阿莫代(Dario Amodei)等人都是AI對齊思想的支持者。
據(jù)路透社、The Information等媒體報道,之前震驚世界的OpenAI“宮斗”事件就源自于有效加速主義和AI對齊思想的路線之爭。
11月22日,路透社報道稱OpenAI擁有一個尚未公布的新模型Q*。該模型能夠解決某些數(shù)學(xué)問題,雖然現(xiàn)階段其數(shù)學(xué)成績僅達(dá)到小學(xué)生的水平,但在相關(guān)測試中取得的成績讓研究人員對Q*未來的成功非常樂觀,并認(rèn)為Q*在推理模型方面相較于之前的大模型有了巨大的進(jìn)步。這可能意味著人類將快速實現(xiàn)完全超越人類本身智能的超級AI。
據(jù)悉,Q*的出現(xiàn)加劇了包括首席科學(xué)家伊利亞·蘇茨克韋爾在內(nèi)對于AI安全性的擔(dān)憂,并最終促使董事會決定解雇支持有效加速主義的山姆·奧特曼。
值得注意的是,早在今年3月,包括前OpenAI投資者,著名人士馬斯克等上千人曾簽署聯(lián)名信,公開信呼吁人類暫停開發(fā)比目前GPT-4模型更強大的人工智能,為時至少6個月。
近期除了OpenAI在官網(wǎng)發(fā)布災(zāi)備架構(gòu)測試版外,由OpenAI首席科學(xué)家伊利亞牽頭的,于今年7月建立地“超級對齊”團(tuán)隊,在本月15日發(fā)布了其成立以來的第一篇論文。在其最新的研究中,該團(tuán)隊提出了一個技術(shù)路線:使用GPT-2級別的AI對GPT-4進(jìn)行監(jiān)督并伴以一定的置信度損失,實現(xiàn)了對于GPT-4的微調(diào)。這樣的GPT-4可以在NLP任務(wù)上恢復(fù)到接近GPT-3.5級別AI的性能。
該論文指出,通過上述方法可以實現(xiàn)“弱到強泛化”(Weak-to-Strong Generalization)訓(xùn)練,證實了我們可以通過使用更弱、更可控的模型來微調(diào)更強大的人工智能模型,使其達(dá)到與傳統(tǒng)訓(xùn)練方法所訓(xùn)練出的AI更相近的性能。這為“AI對齊”的設(shè)想提供了一條實際可行的技術(shù)路徑。
論文截圖 圖片來源:OpenAI
該論文和災(zāi)備架構(gòu)文檔的發(fā)表同樣也意味著,OpenAI正在試圖研究如何監(jiān)管潛在的全面超越人類智能的超級AI。
本文系觀察者網(wǎng)獨家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責(zé)任編輯: 唐曉甫 
-
我國科學(xué)家開創(chuàng)新理論,研發(fā)出超薄高能效光學(xué)晶體
2023-12-19 14:44 -
全球最先進(jìn)大洋鉆探船來了!
2023-12-18 11:46 科技前沿 -
英特爾推出第五代至強和酷睿Ultra,多個中國廠商到場支持
2023-12-18 08:54 觀網(wǎng)財經(jīng)-科創(chuàng) -
我國成功發(fā)射雙曲線一號商業(yè)運載火箭
2023-12-17 15:24 航空航天 -
含氦煤層氣提取99.999%以上高純氦,我國突破了
2023-12-16 09:10 -
“七項可以改變世界的化工分離之一”,浙大團(tuán)隊實現(xiàn)突破
2023-12-16 08:11 -
“南極天目”時域天文望遠(yuǎn)鏡陣原型機研制成功
2023-12-16 08:00 -
我國成功發(fā)射遙感四十一號衛(wèi)星
2023-12-15 22:28 航空航天 -
國際首次!中國團(tuán)隊繪制肝癌轉(zhuǎn)移多組學(xué)全景圖譜
2023-12-15 14:28 科技前沿 -
新一代人造太陽“中國環(huán)流三號”面向全球開放
2023-12-15 09:11 科技前沿 -
我科研人員開發(fā)疫苗研制新技術(shù):“納微復(fù)合”干粉吸入
2023-12-15 09:10 科技前沿 -
“新舟”60滅火機首次超低空滿載6噸投水試飛圓滿成功
2023-12-14 09:30 中國精造 -
極飛多款智慧農(nóng)業(yè)產(chǎn)品發(fā)布,實現(xiàn)多項突破性創(chuàng)新
2023-12-13 14:48 -
我國科研人員發(fā)布古籍大語言模型:智能作詩、精確翻譯、自動標(biāo)點…
2023-12-13 09:03 -
“雪龍2”號完成卸貨任務(wù)離開羅斯海新站
2023-12-13 09:03 南極探險 -
國家科學(xué)技術(shù)獎提名辦法發(fā)布,嚴(yán)重失信將進(jìn)“黑名單”
2023-12-12 15:15 -
比太陽亮1萬億倍!這一大國重器取得關(guān)鍵進(jìn)展
2023-12-11 21:46 科技前沿 -
國內(nèi)首次應(yīng)用!效率提高三倍以上
2023-12-11 09:19 -
文昌發(fā)射場正建設(shè)規(guī)劃新一代載人登月火箭發(fā)射工位
2023-12-10 14:16 航空航天 -
長征系列運載火箭第500次飛行!遙感三十九號衛(wèi)星成功發(fā)射
2023-12-10 10:39 航空航天
相關(guān)推薦 -
歐盟進(jìn)口天然氣單季總量,俄羅斯反超美國了 評論 104最新聞 Hot
-
“美國急著找替代,卻發(fā)現(xiàn)印度越來越依賴中國”
-
中國鐵路扭虧為盈!負(fù)債率回落至10年來最低水平
-
韓國要吃不上泡菜了,還得靠中國?
-
委內(nèi)瑞拉發(fā)出逮捕令,馬杜羅:他竟敢說不承認(rèn)法律
-
史上首次!大眾汽車考慮關(guān)閉德國工廠,與中國有關(guān)?
-
美國大兵在土耳其被套頭胖揍:滾回家去
-
哈里斯首度發(fā)聲:不能賣!
-
“現(xiàn)在,以色列處于重大轉(zhuǎn)折點邊緣”
-
“唯一能結(jié)束俄烏沖突的國家”?他竟這樣強扯中國…
-
聞所未聞!美國把馬杜羅“專機”扣了
-
波音“星際客機”發(fā)出異響,NASA回應(yīng)
-
她宣稱:歐洲應(yīng)吸取過度依賴俄油氣的教訓(xùn),減少對華技術(shù)依賴
-
“日本敢這么干,中國有狠招等它”
-
惡臭無比!以色列本國抗議者也被用上這東西了
-
歐盟進(jìn)口天然氣單季總量,俄羅斯反超美國了
-
韓高官:想讓我們對付中國,美國得“加錢”
-