原址：Documenting the AI Era: Volume 3 of AlphaGo to Zero Arrives - American Go Association

原題：Documenting the AI Era: Volume 3 of AlphaGo to Zero Arrives

摘自：The news of American Go Association

作者：Chris Garlock

隨著備受期待的《AlphaGo to Zero》系列第三卷的發(fā)布，邁克爾·雷德蒙德和克里斯·加洛克繼續(xù)著他們對(duì)這場(chǎng)徹底重塑?chē)甯窬值娜斯ぶ悄芨锩臋?quán)威性記錄。

圖1 《AlphaGo to Zero》第3卷封面

初始版本的AlphaGo系統(tǒng)的核心架構(gòu)包含四個(gè)協(xié)同工作的關(guān)鍵模塊：

1. 策略網(wǎng)絡(luò)：該模塊以當(dāng)前棋盤(pán)狀態(tài)作為輸入，通過(guò)深度神經(jīng)網(wǎng)絡(luò)計(jì)算并輸出下一步棋在各個(gè)合法位置的概率分布，從而提供候選落子方案。

2. 快速推演：此部分功能與策略網(wǎng)絡(luò)相似，旨在生成行棋序列，但采用簡(jiǎn)化的計(jì)算模型，以顯著降低決策精度為代價(jià)，實(shí)現(xiàn)相比策略網(wǎng)絡(luò)數(shù)千倍的速度提升，用于快速勝負(fù)模擬。

3. 價(jià)值網(wǎng)絡(luò)：此模塊同樣基于當(dāng)前局面，利用神經(jīng)網(wǎng)絡(luò)直接評(píng)估雙方勝率，輸出一個(gè)介于-1到1之間的評(píng)價(jià)值，用于判斷當(dāng)前局面的優(yōu)劣態(tài)勢(shì)。

4. 蒙特卡洛樹(shù)搜索：作為系統(tǒng)的決策中樞，MCTS 框架將上述三個(gè)模塊有機(jī)整合。它通過(guò)反復(fù)模擬對(duì)弈過(guò)程，綜合策略網(wǎng)絡(luò)的選點(diǎn)建議、價(jià)值網(wǎng)絡(luò)的局面評(píng)估以及快速推演的終局勝率，以此進(jìn)行自我博弈和策略?xún)?yōu)化，最終形成完整的決策系統(tǒng)。

此時(shí)的AlphaGo還不是純粹的機(jī)器深度強(qiáng)化學(xué)習(xí)，要依靠大量學(xué)習(xí)人類(lèi)棋譜。系統(tǒng)通過(guò)分析人類(lèi)歷史對(duì)弈數(shù)據(jù)來(lái)構(gòu)建快速走子模型，并以此為基礎(chǔ)對(duì)策略網(wǎng)絡(luò)進(jìn)行初步參數(shù)設(shè)置。隨后，策略網(wǎng)絡(luò)與估值網(wǎng)絡(luò)通過(guò)持續(xù)不斷的自我對(duì)弈進(jìn)行協(xié)同訓(xùn)練和優(yōu)化。

需要指出的是，估值網(wǎng)絡(luò)并未直接采用人類(lèi)棋譜作為訓(xùn)練樣本。這是因?yàn)槿祟?lèi)對(duì)局中時(shí)常存在較強(qiáng)的偶然性因素，局部階段的優(yōu)勢(shì)未必能決定最終勝負(fù)，單一失誤就可能導(dǎo)致全局結(jié)果逆轉(zhuǎn)，使得棋譜數(shù)據(jù)中包含較多波折。

圖2 Alphago學(xué)習(xí)棋譜的過(guò)程簡(jiǎn)圖

在模型迭代過(guò)程中，每當(dāng)產(chǎn)生一個(gè)新版本，系統(tǒng)會(huì)將其與當(dāng)前保存的最佳版本進(jìn)行多輪對(duì)抗。只有在新版本的勝率穩(wěn)定超過(guò)55%時(shí)，才會(huì)替換原有版本。這一機(jī)制能夠有效避免模型在自我博弈過(guò)程中陷入局部最優(yōu)或產(chǎn)生策略退化，從而確保學(xué)習(xí)路徑的穩(wěn)定與進(jìn)步。

但是僅僅一年之內(nèi)，AlphaGO Zero就橫空出世，AlphaGO Zero僅用36小時(shí)就超過(guò)了AlphaGo，并且占用的資源很少，只需要4個(gè)TPU。然后以100：0戰(zhàn)勝了之前的AlphaGo。

圖3 AlphaGo Zero和AlphaGo對(duì)比

《AlphaGo to Zero》第三卷，標(biāo)題定為“杰作”，集中解讀了DeepMind正式發(fā)布的50盤(pán)AlphaGo自我對(duì)弈棋譜。這些對(duì)局首次向世人展示，在脫離人類(lèi)棋譜約束后，AlphaGo如何理解圍棋。憑借更豐富的經(jīng)驗(yàn)與更先進(jìn)的人工智能分析工具，作者對(duì)這些棋局進(jìn)行了重新審視與全新評(píng)注，清晰闡釋了以往令人費(fèi)解的內(nèi)容：包括AlphaGo獨(dú)特的開(kāi)局意圖、卓越的大局方向感與時(shí)機(jī)掌握、果斷的侵入戰(zhàn)術(shù)，以及精準(zhǔn)的收官計(jì)算。
本書(shū)無(wú)意評(píng)判人類(lèi)與人工智能的高下，而是致力于揭示這些棋步背后的取勝邏輯、其中蘊(yùn)含的圍棋理念，以及它們?nèi)绾晤A(yù)示了AlphaGo Zero更為顛覆性的策略。借助棋譜圖示、關(guān)鍵局部分析與深入淺出的解說(shuō)，第三卷將這一系列傳奇般的自我對(duì)局編織成一條連貫的敘事線，既展現(xiàn)了人機(jī)圍棋對(duì)話的真正開(kāi)端，也展望了這項(xiàng)運(yùn)動(dòng)未來(lái)的可能方向。

如今的圍棋AI仍然在不斷迭代，那怕是當(dāng)今的最強(qiáng)AI距離真正的圍棋之神還有相當(dāng)長(zhǎng)的距離。