-
陳經:AlphaGo升級成Master后的算法框架分析
關鍵字: 圍棋AlphaGoMaster算法框架但是如果有價值網絡對各個結果進行準確估值,Master可能在下24的時候就已經給出了結論,黑無論如何應,白棋都局勢不錯。陳耀燁自戰解說認為,24這招他已經應不好了,實戰只好委屈地先穩住陣腳,復盤也沒有給出好的應對。同樣的招法Master對樸廷桓也下過。
上圖為Master執白對羋昱廷,左上角的大雪崩外拐定式,白下出新手。白44職業棋手都是走在E13長的,后續變化很復雜。但是Master卻先44打一下,下了讓所有人都感到震驚的46扳,在這個古老的定式下出了從未見過的新手。這個新手讓羋昱廷短時間內應錯了,吃了大虧。后來羋昱廷自戰回顧時說應該可以比實戰下得好些,黑棋能夠厚實很多,但也難說占優。但是對白46這招還沒有完全接受。這個局面很復雜,有多個要點,Master的搜索中是完全沒有定式的概念的。
我猜測它會各種手段都試下,由于價值網絡比過去精確了,可以建立一個比較龐大的搜索樹,然后象國際象棋AI一樣多個局面都考慮過之后綜合出這個新手。這次Master表現得不怕復雜變化,而之前版本感覺上是進行大局掌控,復雜變化算不清繞開去。Master卻經常主動挑起復雜變化,明顯感覺搜索能力有進步,算路要深了。
局面評估函數精確到一定程度突破了臨界點,就可以帶來搜索能力的巨大進步。因為開發者可以放心地利用局面評估函數進行高效率的剪枝,節省出來的計算能力可以用于更深的推導,表現出來就是算得深算得廣。實際人類的剪枝能力是非常強大的,計算速度太慢,如果還要去思考一些明顯不行的分枝,根本沒辦法進行細致的推理。在一個局面人類的推理,其實就是一堆變化圖,眾多高手可能就取得一致意見了。而Master以及國際象棋AI也是走這個路線了,它們能擺多得多的變化圖,足以覆蓋人類考慮到的那些變化圖給出靠譜的結論。
但這個路線的必須依靠足夠精確的價值網絡,否則會受到多種干擾。一是估值錯了,好局面扔掉壞局面留著選錯棋招。二是剪枝不敢做,搜索大量無意義的局面,有意義的局面沒時間做或者深度不足。三是要在葉子節點引入快速走子下完的“驗證”,這種驗證未必靠譜,價值網絡正確的估值反而給帶歪了。
從實戰表現反推,Master的價值網絡質量肯定已經突破了臨界點,帶來了極大的好處,思考時間大幅減少,搜索深度廣度增加,戰斗力上升。AlphaGo團隊新的prototype,架構上可能更簡單了,需要的CPU數目也減少了,更接近國際象棋的搜索框架,而不是以MCTS為基礎的復雜框架。比起國際象棋AI復雜的人工精心編寫的局面評估函數,AlphaGo的價值網絡完全由機器學習生成,編碼任務更為簡單。
理論上來說,如果價值網絡的估值足夠精確,可以將葉子節點價值網絡的權重上升為1.0,就等于在搜索框架中完全去除了MCTS模塊,和傳統搜索算法完全一樣了。這時的圍棋AI將從理論上完全戰勝人,因為人能做的機器都能做,而且還做得更好更快。而圍棋AI的發展過程可以簡略為兩個階段。第一階段局面估值函數能力極弱,被逼引入MCTS以及它的天生弱點。第二階段價值網絡取得突破,再次將MCTS從搜索框架逐漸去除返樸歸真,回歸傳統搜索算法。
由于價值網絡是一個機器學習出來的黑箱子,人類很難理解里面是什么,它的能力會到什么程度不好說。這樣訓練肯定會碰到瓶頸,再也沒法提升了,但版本V18那時顯然沒到瓶頸,之后繼續取得了巨大進步。通常機器學習是模仿人的能力,如人臉識別、語音識別的能力超過人。但是圍棋局面評估可以說是對人與機器來說都非常困難的任務。
職業棋手們的常識是,直線計算或者計算更周密是可以努力解決的有客觀標準的問題,但是局面判斷是最難的,說不太清楚,棋手們的意見并不統一。由于人的局面評估能力并不太高,Master的價值網絡在幾千萬對局巧妙訓練后超過人類是可以想象的,也帶來了棋力與用時表現的巨大進步。但是可以合理推測,AlphaGo團隊也不太可能訓練無缺陷的價值網絡,不太可能訓練出國際象棋AI那種幾乎完美的局面評估函數。
-
本文僅代表作者個人觀點。
- 請支持獨立網站,轉發請注明本文鏈接:
- 責任編輯:武守哲
-
“中國在非洲真正贏得了民心,就連斯威士蘭…” 評論 70“日企抱團是絕望之舉,中國工廠效率質量都是第一” 評論 113“她下月訪華,盡管特朗普團隊表達了擔憂” 評論 53“中國有能力讓夢想照進現實,將贏得史詩般競爭” 評論 120最新聞 Hot
-
“中國在非洲真正贏得了民心,就連斯威士蘭…”
-
“日企抱團是絕望之舉,中國工廠效率質量都是第一”
-
“中國有能力讓夢想照進現實,將贏得史詩般競爭”
-
被災民暴罵到當場破防,馬克龍發飆:你該慶幸你在法國!
-
美高校敦促國際學生抓緊回來:萬一把中印拉黑名單呢
-
美國政府“逃過一劫”
-
“澤連斯基要求歐盟新外長:對華批評要降調”
-
澳大利亞來了,中國就得走人?澳總理這么回應
-
美媒感慨:基建狂魔發力,我們又要被超越了
-
英國剛公布新任大使,特朗普顧問就痛罵:傻X
-
“來自中國的老大哥能確保我們…”
-
俄羅斯的報復來了
-
澤連斯基罵普京“傻子”,俄方怒斥
-
還在扯皮中國,“涉華條款全刪了”
-
中國“光伏OPEC”發文嚴厲質問央企,怎么回事?
-
“最后一道貿易障礙,中國解除了!”
-