觀察員
-
外網熱議：中國科技巨頭百度比OpenAI更早發現Scaling Law
最后更新: 2024-12-30 17:55:12近日，一項關于大模型核心理論“Scaling Law”的起源討論正在外網熱烈展開。最新觀點和證據表明，中國科技巨頭百度比OpenAI更早實現了這一突破。
知名媒體《南華早報》在其報道《百度在OpenAI之前就發現了Scaling Law？AI領域的辯論重新燃起》中指出，盡管美國在AI模型創新方面一直被視為領先者，但最新的討論顯示，中國在探索這些概念上可能更為超前。
大模型發展的核心是“Scaling Law”——這一原則認為，訓練數據和模型參數越大，模型的智能能力就越強。這一思想廣泛歸功于OpenAI在2020年發表的論文《Scaling Laws for Neural Language Models》，自那以后，這個概念已成為AI研究的基石。
然而，OpenAI論文的合著者、前OpenAI研究副總裁 、Anthropic創始人Dario Amodei ，在11月的一期播客中透露，他在2014年與吳恩達在百度研究AI時，就已經發現了模型發展的規律Scaling Law這一現象。Dario Amodei表示，隨著提供給模型的數據量增加、模型規模的擴大以及訓練時間的延長，模型的性能開始顯著提升。這一非正式的觀察后來在OpenAI的GPT-1語言模型中得到了驗證，并被認為是大模型發展的“金科玉律”。
此外，行業人士也發文稱，關于Scaling Law的原始研究實際上來自2017年的百度，而不是2020年的OpenAI。Meta研究員、康奈爾大學博士候選人Jack Morris在X（前Twitter）上引用了一篇標題為《Deep Learning Scaling is Predictable, Empirically》論文，論文于2017年由百度硅谷人工智能實驗室發布，詳細討論了機器翻譯、語言建模等領域的Scaling現象。
但這篇論文的重要性被嚴重忽視，OpenAI在 2020年的Scaling Law研究中引用了百度研究人員在2019年發表的論文 《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人類水平的準確性： 深度學習的計算挑戰）。批評者稱，OpenAI 有選擇地引用了百度 2019 年的論文，而忽略了 2017 年早些時候的研究，而該研究才是Scaling Law概念的真正原始來源。
有研究者表示，正是百度的早期研究為AI大模型的發展奠定了理論基礎，并在2019年發布了第一代文心大模型，幾乎與OpenAI處于同一時期。“中國在大型模型方面的進步也獲得國際認可。”據《南華早報》，在上海舉行的百度世界大會2024上，百度宣布了新技術，用以減輕圖像生成中的幻覺問題——即生成誤導性或事實不一致的圖像。百度還透露，截至11月初，百度文心大模型的日均調用量已經達到了15億，相較一年前首次披露的5000萬次，增長約30倍。
隨著AI技術的不斷進步和應用的深入，中國在全球AI領域的影響力和領導地位將更加凸顯。
- 責任編輯: 沐梵
-
AI芯片競爭激烈，英偉達將未來押在機器人上？
2024-12-30 16:27 觀網財經-科創 -
“AI教父”：30年內AI致人類滅亡幾率達10%至20%
2024-12-30 10:35 -
華為董事：這兩年終端能活下來，有國民對華為品牌的熱情
2024-12-30 10:07 觀網財經-科創 -
財政部：年度公務用車采購總量中新能源汽車占比原則上不低于30%
2024-12-30 09:47 車市快訊 -
華為多款手機降價，Mate X5直降2500元
2024-12-30 08:56 觀網財經-科創 -
全球首個重癥醫療大模型，來自中國
2024-12-29 15:15 觀網財經-互聯網 -
特朗普請求最高法暫緩出售TikTok，專家：不可盲目樂觀
2024-12-29 15:13 觀網財經-互聯網 -
榮耀完成股改并更名，將適時啟動IPO
2024-12-28 10:21 觀網財經-科創 -
小米：自研IoT操作系統Vela全面開源
2024-12-27 21:35 觀網財經-科創 -
“美元全球官方儲備份額，降至30年新低”
2024-12-27 20:24 美國一夢 -
工信部：2025年推進工業5G獨立專網建設
2024-12-27 17:30 觀網財經-科創 -
“AI界的拼多多”推出新款大模型，水平如何？
2024-12-27 17:01 科技前沿 -
旗艦配色搞國內外區別對待？OPPO稱絕對沒有
2024-12-27 12:39 觀網財經-科創 -
美團發布情況說明：堅決治理騎手注冊個體工商戶
2024-12-27 10:53 觀網財經-互聯網 -
臺媒稱大陸手機鏡頭廠“暴雷”，涉事企業：與事實嚴重不符
2024-12-27 10:26 觀網財經-科創 -
世界銀行上調今年中國GDP增長預期
2024-12-27 09:43 中國經濟 -
民調：只有19%的美國人認為國家走在正確的道路上
2024-12-27 08:58 美國政治 -
政企辦公應用鴻蒙化，為什么刻不容緩？
2024-12-27 08:11 觀網財經-科創 -
山寨臺積電？韓產業界提議政府組建“韓積電”
2024-12-26 15:42 科技前沿 -
小米被曝正搭建GPU萬卡集群，大力投入大模型
2024-12-26 13:49 觀網財經-科創
相關推薦 -
-
被逼急了，格陵蘭島總理：是時候獨立了 評論 71
美媒直呼：啥都能威脅國家安全，美國完全走偏了 評論 100
司機留信曝光：同胞們醒醒吧，美國快病死了！ 評論 263
“沒想到拜登竟會如此對待盟友！” 評論 214
事關中國FK-3，塞爾維亞：這是一個“里程碑” 評論 169最新聞 Hot-
被逼急了，格陵蘭島總理：是時候獨立了
-
美媒直呼：啥都能威脅國家安全，美國完全走偏了
-
“到2030年，中國本土數學家將能引領世界”
-
密謀推翻馬爾代夫總統？印度回應
-
域外調查惹惱國際奧委會，“2034鹽湖城冬奧會有點懸”
-
欲爭奪歐洲最大電動車市場，但英國國內阻力不小
-
土耳其喊話歐盟：他不干，我干
-
“沒想到拜登竟會如此對待盟友！”
-
司機留信曝光：同胞們醒醒吧，美國快病死了！
-
特朗普炮轟：英國犯下了大錯！
-
盧卡申科：計劃訪華，事關未來
-
特朗普“封口費”案將于1月10日宣判，“但不會入獄”
-
“美國沒能改變中國”，布林肯一聽急了…
-
事關中國FK-3，塞爾維亞：這是一個“里程碑”
-
“中國真出手怎么辦？企業緊張研判…”
-
以己度人？“中方為了談判籌碼”
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯網新聞信息服務許可證：31220170001
網登網視備（滬）02020000041-1號 互聯網宗教信息服務許可證：滬（2024）0000009
廣播電視節目制作經營許可證：（滬）字第03952號
增值電信業務經營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網安備 31010502000027號
中國互聯網舉報中心
上海市互聯網違法與不良信息舉報中心
