觀察員
-
Meta開源“記憶層”，重塑Transformer架構大模型
最后更新: 2025-01-03 14:29:3711月3日凌晨三點，全球社交巨頭Meta分享了一個創新研究——Memory layers（記憶層）。
目前，Transformer架構的預訓練大模型在存儲、查詢數據時，隨著參數的變大對算力的需求呈指數級增長。“記憶層”則提出了新的高效查詢機制替代了傳統的查詢方法，通過比較查詢鍵與兩個較小集合中的鍵，可以快速找到最相關的鍵，而無需遍歷模型的整個記憶層。
換言之，可以在不增加算力的情況下顯著增加大模型的參數。在傳統的鍵值查找中，每個查詢都需要與記憶層中的每個鍵進行比較，以找到最匹配的值。該方法在鍵的數量較少時是可行的，但隨著記憶層規模的增長，這種暴力搜索的方式變得非常低效，需要消耗巨大算力和時間。
Product - Key Lookup是“記憶層”的核心算法之一，使用了一種分而治之的策略，將傳統的單一鍵集合分解為兩個較小的鍵集合，通過兩個階段的查找來減少必要的比較次數，從而提高查找效率。
除了計算效率之外，Product-Key Lookup模塊還優化了內存和帶寬的使用。由于每個GPU只需要處理一半的鍵，因此內存的使用量減少了一半。由于每個GPU只需要返回與自己處理的鍵相關的值，所以內存帶寬的需求也得到了優化。
Product-Key Lookup算法不僅提高了記憶層的查詢效率，還為記憶層的應用開辟了新的可能性，使得記憶層可以被應用于更大規模的數據集和更復雜的任務中，包括大規模知識圖譜的查詢、長文本的語義檢索等。
并行記憶層則主要是用于對硬件GPU的優化。在傳統的Transformer架構模型中，隨著模型規模的增加，計算和內存需求也隨之增長。特別是在處理大規模數據集時，單一的計算單元很難滿足這種需求。并行記憶層通過在多個GPU之間分配任務，有效解決這一難題。在并行記憶層的設計中，每個計算單元只負責處理一部分數據，這樣可以減少單個計算單元的負擔，同時提高整體的處理速度。
共享記憶參數則是另外一個重要優化方法，允許不同層的記憶層共享同一個參數集合。這種設計的優勢在于，它減少了模型的總參數數量，同時提高了參數的利用率。
為了應對訓練期間可能出現的變化，研究人員開發了一套動態調整策略。每當有新的鍵加入或舊有的鍵被更新時，系統會自動調整相應的子集，而無需對整個記憶池進行全面改造。這樣的設計既簡化了維護流程，又提高了系統的靈活性和適應性。
本文系觀察者網獨家稿件，未經授權，不得轉載。
- 責任編輯: 朱道義
-
中國10年期國債收益率跌破1.6%
2025-01-03 10:05 金融觀察 -
茅臺原董事長丁雄軍被查
2025-01-02 20:55 觀網財經-消費 -
上海醫藥收購和黃藥業10%股權，中藥板塊加速布局
2025-01-02 17:30 觀網財經-健康 -
新規后首家！黃光裕旗下公司觸發市值退市
2025-01-02 17:30 -
“醫療大模型第一股”港交所上市：資本簇擁，科大訊飛 “血緣” 深厚
2025-01-02 16:44 觀網財經-健康 -
“癌癥早篩第一股”停牌第九個月，CEO辭職
2025-01-02 15:38 觀網財經-健康 -
?培育鉆石行業掀起漲價潮，市場迎來新動向
2025-01-02 14:29 -
臺積電設立2nm試產線，或將在今年量產
2025-01-02 13:35 -
債市開門紅！國債期現貨全線大漲
2025-01-02 11:38 金融觀察 -
?中國結算推出減半優惠措施，助力SFISF業務蓬勃發展
2025-01-02 11:03 -
重大人事調整，五糧液“85后”副總走馬上任
2024-12-31 17:11 觀網財經-消費 -
中核科技重組停牌 標的公司曾謀求上市未果
2024-12-31 13:04 -
央行首開債市罰單：三家機構共罰超7000萬
2024-12-30 22:51 金融觀察 -
貴陽銀行擬任“85后”副行長辭職
2024-12-30 22:51 金融觀察 -
“今年以來大量資金涌向債券市場，市場利率過快下行”
2024-12-30 21:42 金融觀察 -
1766億“紅包雨”來了，四大行股價年內創新高
2024-12-30 21:32 金融觀察 -
金融觀察員｜12月24日-12月30日銀行周報
2024-12-30 19:09 金融觀察 -
滬上阿姨沖刺港交所，門店數已達8980家
2024-12-30 15:36 觀網財經-消費 -
好麗友第三代繼承人上位，在華高層也有新任命
2024-12-27 19:09 觀網財經-消費 -
濱江集團戚金興：明年銷售目標約1000億元
2024-12-27 16:27 觀網財經-消費
相關推薦 -
布林肯承認“開打前就給了”，俄方回應 評論 150
央行宣布將擇機降準降息，“擇機”以何為標志？ 評論 162
被逼急了，格陵蘭島總理：是時候獨立了 評論 195
美媒直呼：啥都能威脅國家安全，美國完全走偏了 評論 165最新聞 Hot-
被逼急了，格陵蘭島總理：是時候獨立了
-
美媒直呼：啥都能威脅國家安全，美國完全走偏了
-
“到2030年，中國本土數學家將能引領世界”
-
密謀推翻馬爾代夫總統？印度回應
-
域外調查惹惱國際奧委會，“2034鹽湖城冬奧會有點懸”
-
欲爭奪歐洲最大電動車市場，但英國國內阻力不小
-
土耳其喊話歐盟：他不干，我干
-
“沒想到拜登竟會如此對待盟友！”
-
司機留信曝光：同胞們醒醒吧，美國快病死了！
-
特朗普炮轟：英國犯下了大錯！
-
盧卡申科：計劃訪華，事關未來
-
特朗普“封口費”案將于1月10日宣判，“但不會入獄”
-
“美國沒能改變中國”，布林肯一聽急了…
-
事關中國FK-3，塞爾維亞：這是一個“里程碑”
-
“中國真出手怎么辦？企業緊張研判…”
-
以己度人？“中方為了談判籌碼”
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯網新聞信息服務許可證：31220170001
網登網視備（滬）02020000041-1號 互聯網宗教信息服務許可證：滬（2024）0000009
廣播電視節目制作經營許可證：（滬）字第03952號
增值電信業務經營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網安備 31010502000027號
中國互聯網舉報中心
上海市互聯網違法與不良信息舉報中心
