-
OpenAI發布首個視頻生成模型Sora:輸文字出視頻,1分鐘流暢高清
2月16日凌晨,OpenAI再次扔出一枚深水炸彈,發布了首個文生視頻模型Sora。據介紹,Sora可以直接輸出長達60秒的視頻,并且包含高度細致的背景、復雜的多角度鏡頭,以及富有情感的多個角色。
目前官網上已經更新了48個視頻demo,在這些demo中,Sora不僅能準確呈現細節,還能理解物體在物理世界中的存在,并生成具有豐富情感的角色。該模型還可以根據提示、靜止圖像甚至填補現有視頻中的缺失幀來生成視頻。
例如一個Prompt(大語言模型中的提示詞)的描述是:在東京街頭,一位時髦的女士穿梭在充滿溫暖霓虹燈光和動感城市標志的街道上。
在Sora生成的視頻里,女士身著黑色皮衣、紅色裙子在霓虹街頭行走,不僅主體連貫穩定,還有多鏡頭,包括從大街景慢慢切入到對女士的臉部表情的特寫,以及潮濕的街道地面反射霓虹燈的光影效果。
電影預告片講述了30歲宇航員戴著紅色羊毛針織摩托車頭盔的冒險經歷,藍天、鹽漠,電影風格,35毫米膠片拍攝,色彩鮮艷。
AI想象中的龍年春節,紅旗招展人山人海。有緊跟舞龍隊伍抬頭好奇觀望的兒童,還有不少人掏出手機邊跟邊拍,海量人物角色各有各的行為。
豎屏超近景視角下,這只蜥蜴細節拉滿:
網友直呼game over,工作要丟了:
甚至有人已經開始“悼念”一整個行業:
還有網友表示,電影業要徹底顛覆了。
一位YouTube博主Paddy Galloway發表了對Sora的感想,他表示內容創作行業已經永遠的改變了,并且毫不夸張。“我進入YouTube世界已經15年時間,但OpenAI剛剛的展示讓我無言…動畫師/3D藝術家們有麻煩了,素材網站將變得無關緊要,任何人都可以無壁壘獲得難以置信的產品,內容背后的‘想法’和故事將變得更加重要。”
對于Sora當前存在的弱點,OpenAI也不避諱,指出它可能難以準確模擬復雜場景的物理原理,并且可能無法理解因果關系。
例如“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”,狼的數量會變化,一些憑空出現或消失。
該模型還可能混淆提示的空間細節,例如混淆左右,并且可能難以精確描述隨著時間推移發生的事件,例如遵循特定的相機軌跡。
如提示詞“籃球穿過籃筐然后爆炸”中,籃球沒有正確被籃筐阻擋。
OpenAI表示,他們正在教AI理解和模擬運動中的物理世界,目標是訓練模型來幫助人們解決需要現實世界交互的問題。
隨后OpenAI解釋了Sora的工作原理,Sora是一個擴散模型,它從類似于靜態噪聲的視頻開始,通過多個步驟逐漸去除噪聲,視頻也從最初的隨機像素轉化為清晰的圖像場景。Sora使用了Transformer架構,有極強的擴展性。
視頻和圖像是被稱為“補丁”的較小數據單位集合,每個“補丁”都類似于GPT中的一個標記(Token),通過統一的數據表達方式,可以在更廣泛的視覺數據上訓練和擴散變化,包括不同的時間、分辨率和縱橫比。
Sora是基于過去對DALL·E和GPT的研究基礎構建,利用DALL·E 3的重述提示詞技術,為視覺模型訓練數據生成高描述性的標注,因此模型能更好的遵循文本指令。
如今,Sora正面向部分成員開放,以評估關鍵領域的潛在危害或風險。同時,OpenAI也邀請了一批視覺藝術家、設計師和電影制作人加入,期望獲得寶貴反饋,以推動模型進步,更好地助力創意工作者。OpenAI提前分享研究進展,旨在與OpenAI以外的人士合作并獲取反饋,讓公眾了解即將到來的AI技術新篇章。
- 原標題:太炸了!OpenAI深夜發布,文字直接生成視頻!網友:我要失業了
- 責任編輯: 林鈴錦 
-
自主研制離子成像技術探測量子態,我國科學家有了新發現
2024-02-16 11:06 科技前沿 -
新春伊始,一批大國重器取得新突破
2024-02-14 20:45 觀察者頭條 -
微型機器人在國際空間站首次模擬手術任務
2024-02-14 19:32 科技前沿 -
實現突破性進展!這一領域,我國處于全球第一梯隊
2024-02-12 22:34 科技前沿 -
向理解高溫超導機理邁出重要一步,中國科學家首次觀測到
2024-02-08 11:19 科技前沿 -
我國編制首部腦機接口研究倫理指引
2024-02-07 07:17 -
英偉達對華“閹割版”芯片已可接受預訂,但經銷商說…
2024-02-05 09:57 -
研究:月球正在縮小,南極月震使月球基地可能沒那么宜居
2024-02-02 16:59 -
這項重大突破,避免了“美國人比中國人更了解中國人”
2024-02-02 07:58 科技前沿 -
此前只有兩個國家掌握這一技術,我國實現突破
2024-02-01 22:01 科技前沿 -
對標GPT-4,訊飛星火V3.5發布
2024-01-31 09:16 人工智能 -
預計2026年建成!國內最強光譜望遠鏡將落戶青海冷湖
2024-01-29 23:01 科技前沿 -
世界首款四座氫內燃飛機原型機成功首飛!主要核心部件初步實現國產化
2024-01-29 20:44 科技前沿 -
我國首次在極地布放生態潛標
2024-01-28 09:02 -
快舟火箭可復用技術試驗箭垂直起降試驗圓滿成功
2024-01-27 08:24 航空航天 -
德央行警告“與中國脫鉤”:德國將嚴重動蕩
2024-01-26 19:13 德意志 -
紅海危機,中方出手?
2024-01-26 13:52 觀察者頭條 -
72億年僅偏差1秒!我國第二個達成
2024-01-26 13:44 科技前沿 -
Intel 3D封裝技術開始量產,后摩爾時代競爭已經到來
2024-01-25 19:44 科技前沿 -
世界首臺!這一難題被我國突破了
2024-01-25 09:19 科技前沿
相關推薦 -
“美國急著找替代,卻發現印度越來越依賴中國” 評論 16史上首次!大眾汽車考慮關閉德國工廠,與中國有關? 評論 154“現在,以色列處于重大轉折點邊緣” 評論 88孟臨時外長:或將重新審查孟印諒解備忘錄 評論 43歐盟進口天然氣單季總量,俄羅斯反超美國了 評論 104最新聞 Hot
-
“美國急著找替代,卻發現印度越來越依賴中國”
-
中國鐵路扭虧為盈!負債率回落至10年來最低水平
-
韓國要吃不上泡菜了,還得靠中國?
-
委內瑞拉發出逮捕令,馬杜羅:他竟敢說不承認法律
-
史上首次!大眾汽車考慮關閉德國工廠,與中國有關?
-
美國大兵在土耳其被套頭胖揍:滾回家去
-
哈里斯首度發聲:不能賣!
-
“現在,以色列處于重大轉折點邊緣”
-
“唯一能結束俄烏沖突的國家”?他竟這樣強扯中國…
-
聞所未聞!美國把馬杜羅“專機”扣了
-
波音“星際客機”發出異響,NASA回應
-
她宣稱:歐洲應吸取過度依賴俄油氣的教訓,減少對華技術依賴
-
“日本敢這么干,中國有狠招等它”
-
惡臭無比!以色列本國抗議者也被用上這東西了
-
歐盟進口天然氣單季總量,俄羅斯反超美國了
-
韓高官:想讓我們對付中國,美國得“加錢”
-