觀察員
-
院士何積豐：應對大模型的安全問題，需設好“緊箍咒”
模型的通用能力讓其能夠應用到人類生產生活的各個場景中，可謂“無孔不入”。AI的發展因此帶來了新的安全隱私問題，如何解決這一隱患，9月7日開幕的2023 INCLUSION·外灘大會上，中國科學院院士何積豐開出了他的“藥方”：利用對齊技術為大模型戴上緊箍咒。
何積豐院士認為，大模型的安全問題主要是在未經同意的情況下，收集、使用和泄露個人信息。隱私問題既可能發生在訓練過程，也可能發生在使用過程中，而大模型的生成能力則讓“隱私泄露”的方式變得多樣化，造成隱私保護更加困難。
中國科學院院士何積豐
“為了應對這些問題，我們需要大模型對齊技術。”何積豐說，“對齊（alignment）”是指系統的目標和人類價值觀一致，使其符合設計者的利益和預期，不會產生意外的有害后果。“如果把人工智能看作西游記里的孫悟空，‘對齊’就是唐僧的緊箍咒。有了緊箍咒，就可以保證技術不會任意使用能力胡作非為。”
不過，對齊技術同樣面臨挑戰。首先，對齊的基礎，人類的價值觀是多元且動態變化的，需要保證大模型為人服務、與人為善；其次，大模型的有用性與無害性之間目標也不完全一致。如何對錯誤進行有效糾正，設好大模型的“緊箍咒”也是挑戰。
因此，對齊技術已經成為了一項令人眼花繚亂的跨學科研究，不僅考驗技術，也審視文化。
何積豐介紹，反饋強化學習是實現對齊的技術途徑，目前有兩種方式，一種方式是通過人工反饋給模型不同的獎勵信號，引導模型的高質量輸出；另一種方式，事先給大模型提供明確的原則，系統自動訓練模型對所有生成的輸出結果提供初始排序。“這意味著，不僅智能系統需要向人類價值觀對齊，人類的訓練方法也要向價值觀對齊。”何積豐說。
本文系觀察者網獨家稿件，未經授權，不得轉載。
標簽 外灘大會- 責任編輯: 陳濟深
-
院士張人禾：單打獨斗已不適應大科學時代，要進行“有組織科研”
2023-09-07 14:52 觀網財經-科創 -
外灘大會今日開幕 近20位“兩院”院士、諾貝爾獎和圖靈獎得主齊聚上海
2023-09-07 14:35 觀網財經-金融 -
混元已接入騰訊50多個業務，國產大模型將加速轉入長跑期？
2023-09-07 11:44 觀網財經-科創 -
細則落地！存量首套房貸利率調整，四大行發布公告
2023-09-07 11:25 觀網財經-房產 -
全面擁抱大模型，騰訊混元正式亮相
2023-09-07 10:47 觀網財經-互聯網 -
京東集團CEO許冉：印尼將會成為京東全球供應鏈網絡的重要節點
2023-09-07 10:45 觀網財經-海外 -
頂風作案！340萬股，買回來
2023-09-07 08:58 觀網財經-金融 -
二手車商日子難過：600平米展廳一年上千萬流水只賺1萬元
2023-09-07 08:10 -
網約車圍城：一年之內涌入41家平臺、上百萬名駕駛員
2023-09-07 08:06 觀網財經-汽車 -
莫斯科交易所：8月人民幣交易額環比增長超30%
2023-09-06 20:02 觀網財經-海外 -
報告：高凈值人群進一步年輕化，“富二代”占比減少？
2023-09-06 17:46 觀網財經-金融 -
國家發改委上線民間投資問題反映專欄
2023-09-06 17:39 -
?歐洲最大地方政府破產，怎么回事？
2023-09-06 16:09 觀網財經-宏觀 -
旅游需求強勁，攜程二季度營收超2019年同期29%
2023-09-05 18:27 觀網財經-消費 -
杭州今日起實施“認房不認貸”
2023-09-05 18:02 觀網財經-房產 -
歐洲車企“焦慮”：這是一個轉折點
2023-09-05 16:59 汽車展 -
華為：網傳“美國邀請任正非去美國”純屬造謠
2023-09-05 16:25 觀網財經-科創 -
華為公開表態后，諾基亞持有的鼎橋51%股權不賣了
2023-09-05 14:19 觀網財經-科創 -
手機寒冬中凈利潤翻倍，小米盧偉冰回應“友商回歸”
2023-09-05 07:49 觀網財經-科創 -
相關推薦 -
中國，找到一條“拯救世界”之路！ 評論 27
中國政府就黃巖島領海基線發表聲明 評論 182
“臺積電答應美方要求，急于向特朗普證明…” 評論 144
“中國提議交換樣本，美方至今沒吭聲” 評論 539
安排10萬億為地方政府減負，對中國經濟意味著什么？ 評論 189最新聞 Hot
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯網新聞信息服務許可證：31220170001
網登網視備（滬）02020000041-1號 互聯網宗教信息服務許可證：滬（2024）0000009
廣播電視節目制作經營許可證：（滬）字第03952號
增值電信業務經營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網安備 31010502000027號
中國互聯網舉報中心
上海市互聯網違法與不良信息舉報中心
