日誌2017-05-06 23:58

暫存的 Benchmark part 3

昨天電腦將棋選手權競賽剛結束,
Ponanza + deep learning 並沒有辦法繼續蟬聯冠軍,
反而被苦心鑽研定跡譜+評估參數的 elmo 連敗兩次, 屈居第二.

elmo 開放了定跡譜檔案跟評估參數(連結), 可使用的最新版軟體包括
Apery (跟之前相比無更新), YaneuraOu (2017 early) 跟 Silent Majority. (俗稱魔女, ver 1.24)
三者的 git 連結請參考上篇文章(part 2)的連結.

這次的檢驗局面是 "炎之七番勝負第七局"
藤井聰太 (先手) vs 羽生善治 (後手)
棋譜可以參照以下連結
https://www.youtube.com/watch?v=YOOj_g6CRxw
預測的對象是第 104 手, 此時後手不論如何選擇, 先手均可獲勝. 除非先手走錯, 否則已經是定局了.

檢證機器參數:
CPU: E5-2680 8C/16T, 所以全部的執行緒都使用上了, 可惜沒有 AVX2 只有 sse 4.2.
Memory: 64GB, 但是軟體只給 8GB hash 使用.
MultiPV: 1-5, 執行時間均設定為 60 秒 (為該非公式戰的秒讀時間).

---

MultiPV = 1

除了 elmo 似乎都能增加搜尋的相對深度之外,
比較奇特的是 Silent Majority 的狀況用 Elmo 會得到稍低一點的評價值,
雖然一致為先手勝勢 (這樣的點數原則上沒有挽回的機會了.)

---

MultiPV = 2, 因為後面執行時間對於軟體內均相同故省略.

其中 Apery 必勝顯示為 詰128, YaneuraOu 必勝顯示為 31111,
另外, Silent Majority 必勝顯示為 詰256.

elmo 對於 MultiPV = 2 就有顯著的幫助, 不過 YaneuraOu 的真定跡似乎變得比原本定跡差了點.
深度在 MultiPV = 1 變成 MultiPV = 2 以後有很顯著的改變. 原本的 Apery 受到顯著影響深度降低, 但是 YaneuraOu 卻似乎因為算到必勝型於是可以追加深度.

---

MultiPV = 3


Apery elmo 在此竟然算出不論如何先手都已經可以獲勝, 雖然節點數少算很多. YaneuraOu 似乎也會明顯受惠於 elmo 而不是本家的真定跡. Silent Majority 節點數多, 但是並不算有顯著檢討優勢, 多到第三手以後除了 Apery 以外似乎都有點困擾.

---

MultiPV = 4, 平常認為有 8C/16T 會在看棋開局的時候這樣設定.


變成四手的時候局勢就變得很詭譎了, 反而是 Silent Majority 1.24 能夠得到跟 Apery elmo 三手類似的結果, 而 YaneuraOu 也能夠得到四手皆必勝, 反而是 Apery 最善手還無法收斂,
所以 Apery 的最佳 MultiPV 設定可能還是落在三手. elmo 在這樣的狀況下, 對 Apery 有幫助,
但是對 YaneuraOu 看不出來, 對 Silent Majority 反而變差了.

---

最後, 是很超過的 MultiPV = 5.


PV 增加的好處在此已經開始被 PV 增加所增加的計算量蓋過去了, 所以各家軟體的最善手評估都不會變得更好.

---

Disclaimer:
1. 數字上的誤差因為只有做一次, 所以很有可能大部分的效率都僅在誤差範圍內.
2. 盡信計算結果等於沒有結果 (所謂盡信書等於無書), 需要戒慎.
3. 最佳的 MultiPV 數會隨著不同局面可能也不會一樣. 不過當幾種軟體都有一樣的答案的時候, 顯然答案就真的會比較明顯了.
4. i7-6700hq with AVX2? 這個需要好好考慮. 新電腦想要裝雙 CPU 的, 但是... 得先找到下一個工作才行.
5. 之前覺得 Apery 的終盤比較強也許是因為常常在終局調成 MultiPV = 3 或 2 的緣故吧.