用几个权重分析AZ的对战谱

nan

感谢飞扬围棋和坚守的老棋迷们提供一个讨论环境。

【阿尔法元的Elo评分体系】

AlphaZero的2小时自战谱，在截至目前最高30M训练量下，提供了独立的权重棋力评分系统。
除去第一局-3000，Elo从2500、3900、4150到5185，高Elo评分的谱比较丰富。

在一些围棋QQ群中，早已有棋友尝试用公开的权重复盘分析这系列棋谱，只是权重选择不多。
限于权重棋力、个人计算资源都有限，很多阿尔法元的选点分析不出来。
去年(2018年)的高po复盘得出一个结论，目前可公开获取的权重有盲点，棋力不及阿尔法狗。
当时棋友手头最强的就是ElfV2和MiniGo系列权重，较当时的最新的LZ更强大。


【LeelaZero系列权重强度几何】

LeelaZero从0到最新的权重，"曲折的"给了公众们一个棋力递增的权重。2018年真是很"曲折"的一年。
在处理好曲折的问题后，我们就可以让LeelaZero的节点权重找到在AZ评分中的位置，
以及回答"LZ是否达到5000分？""LZ是否超过AZ？"这种问题。如果LZ没有达到5000分的话，那么是多少分呢？
我们至少应该在某个计算量下找到一个大概位置。

【MiniGo网站的评分】
最开始很多LeelaZero的强度估计是从MiniGo网站上的两组强度测试来的。
leela-zero-v3-eval和leela-zero-v4-time，但是这两项测试的数据没有很好的处理。
比如 https://cloudygo.com/leela-zero- ... id_03.sgf?type=eval
在v4同时间Elo测试中，v156对战v206的一半sgf数据是v3的，用时差距很大，这个Elo评分显失公平。
这让我对MiniGo提供的Elo数据的可靠性存疑。对战谱列表 https://cloudygo.com/leela-zero- ... el/156?sorted=False
通过较低的po数，比较出权重的策略网络质量的优劣，是MiniGo的贡献。


【GoAIRatings项目评分】
由互联网知名人士BreakWa11女士在Github上维护的一份围棋权重棋力排名列表
https://github.com/breakwa11/GoAIRatings
在多权重、低次数的对战过程中，组成某个权重较高对战次数下的Elo排名。
一方面避免单个AI固定刷弱手导致Elo畸高，另一方面经典权重如Elfv2、LZ157的对战次数持续增长，Elo评分将稳定成为标志，如同守关。
目前的问题是，维护者BW没有放出对战测试的SGF文件。测试仅涉及LZ部分权重。

【楼主测试v1版】
按理应每步2分钟进行分析，棋力充分发挥，但楼主这次仅当玩票，写下此文抛砖引玉。
批量分析AlphaZero2小时自战谱Game001-Game010，硬件是2060GTX。
每步2秒，每步计算量均值2k左右，吻合点5k-8k，盲点后续800-1k之间（一局）；
每步5秒，每步计算量均值8k左右，吻合点20k-30k，盲点后续2k-6k之间（局部分析使用）


使用MiniGo评分80%胜率的梯次：v91，v116，v136，v156，v166，v176，v226，v245(60%左右)
事后发现权重能力梯次性表现太差，于是详细扒了MiniGo站上这几个权重的Elo评分对战谱，只能大呼上当。

【v1测试结果中有用的结论】
1. 目前使用yzy的lizzie客户端，吻合率可以看出一个权重的表现。吻合率是指棋手的选点与AI判断的一致性。

在有盲点的情况下，AI对盲点后手的胜率判断的准确度，对AI强度的估计有价值。
如果AI不能理解盲点，造成一直看为两分或错看劣势为优势，形成跳水局面。

举例：Game006中，分析210-260手。第214-228手，左上角与右边路黑白转换，
其中白222是MiniGoV15-V17、LZ24x、KataGo、ElfV2的盲点。
白棋迫使黑棋接受交换，取得了优势并保持到终局。后续229至260的第一选点吻合率如下：
LZ176：黑37.5%/60.20/3.28%，白64.7%/72.52/3.10%
LZ206：黑62.5%/68.00/3.53%，白52.9%/61.50/3.00%
LZ226：黑56.3%/75.95/1.59%，白82.4%/84.10/2.02%
MiniGoV17_961：黑62.5%/72.29/2.04%，白56.3%/62.51/1.07%

可以说，AZ评分4550的白棋行棋与LZ226吻合度达到84.1，黑棋虽然吻合率差些，但是吻合值是最高的75.95。

这是LZ226在2000n的算力情况下达到的（5s*400n/s）。


2. 关于收官：目前KataGo的收官胜率曲线最平滑，虽有选点不同，但是胜率判断非常稳定准确。
MiniGo和Elf的收官胜率波动有时较小，有时有波动，比LZ最新官权强。
LZ权重胜率曲线的尾部波动大而频繁，甚至能从10%反弹到40%然后又降到10%。最差的是LZ15B系列，完全胡搞。

举例：Game007最后一手后黑方的胜率：
KataGo_20B：9%         （第231手黑胜率22.7%）
MiniGoV17_961：5%    （第231手黑胜率25.7%）
LZ245：12.3%             （第231手黑胜率16.0%）
LZ245_15b：38.3%      （第231手黑胜率36.3%，稳中有升）
LZ238_15b：30.3%      （第231手黑胜率32.8%，稳中有降）


看LZ226和LZ206对Game007的复盘分析，都在230手之后陷入迟钝。
我认为是因为官子谱太少，自对弈谱的平均长度在230手左右导致的。
KataGo由于有附加的策略/价值判断，在官子方面独挑大梁，在棋力不济之时仍能超过MiniGo等强手。
未来SAI项目也会达到同样的官子水准，期待。。。


3. MiniGo的胜率梯次参考性差，GoAIRating的Elo评分的"相对"靠谱。

LZ176在分析Game005时，局面一直两分至终局，可以说对Elo4350的对局棋手毫无了解。
LZ226则展示了强大的解读能力。武断的说LZ226在2000n算力时，Elo在4500附近。
棋力更高的MiniGoV17_961的解读与LZ226类似。

更高的算力带来的Elo增长是指数递减状态，https://github.com/guitanj/AutoPK 项目实验说明了这一点。


GoAIRating中给予LZ226 1600po时的Elo评分是
0.17引擎下：4682
0.16引擎下：4658

考虑到GoAIRating在双方低对局数中形成Elo，低Elo分的权重的可能存在Elo膨胀的情况，导致传导至高Elo选手。
后续一些想法收集好了就继续更新这个帖子。

有机器的兄弟请帮忙跑SAI项目！看成长速度和官子方面，SAI非常有前途，成熟后可以与KataGo独立比较，谢谢！

hred9D

AlphaGo Zero通过与自己不断挑战来进行提升，不依赖人类数据。此前版本则是通过分析海量棋谱数据进行学习。AlphaGo打败李世石用了3000万盘比赛作为训练数据，而AlphaGo Zero仅用了490万盘比赛数据。经过3天的训练，AlphaGo Zero以100：0的战绩完胜AlphaGo。并且只用了1台机器和4个TPU，而李世石版AlphaGo则用了48个TPU。
谷歌论文是公布了，应该有最关键的部分有所隐瞒吧？不然硬件需求下降不来的。

R141

个人认为，如果某一手下下去之后胜率暴涨，通常就是确实的盲点，也就是差距，当然也有少数情况是下到这一手深入计算后才发现了妙手，所以胜率上升。这是一种情况。
你说的这两个点都是胜率下降的情况，个人认为这种情况下不能排除KataGo对这些招法不认同的可能性，这两手棋，KataGo对于148有自认为胜率较高的选点，同时也对AGZ的选点有一定的计算，对于204手，虽然没有立即下出，但在变化图中也下到了，不能认为KataGo完全没有理解，当然，不能否认的是，这些地方也可能确实存在一些差距。

首先我个人认为AGZ也难免存在盲点，假如让AGZ分析KataGo的棋谱，也可能出现类似的情况，在自身作为对局一方的同时，也难免出现盲点，更何况是直接分析其他AI的棋局，一个局面有盲点可以说是这个局面有差距，但不能代表AGZ因此就在其他局面下也更优秀，因为只是分析AGZ的棋谱，所以我们只能看到一方面，当然我这种说法也可能是错误的，我个人觉得这样想是合情合理的。

一个AI，如果原来分析不出盲点，后来能分析出来了，可以说是变强了，但我个人觉得，一个AI，并不需要完全分析出AGZ的棋谱，才能说是达到，如果对于AGZ下出来的局面能完全理解，尤其是在相对较低的算力下，棋力应该已经高出一些了。

elo等级分虽然不能特别精确的估算，但还是可以大概指出一个高度。毕竟AI的强弱，本质上还是要由胜率而定。盲点虽然可以用于判断，但是AI的强弱并不是一个绝对的数值，存在风格上的相互克制，而如果只是通过能不能看出一个盲点判断，个人觉得显得过于绝对了。

哪怕认为LeelaZero是4900分，KataGo 20B有84%的胜率（288elo),也超过了AGZ的5185分，更何况还有30B和40B，这种估算我认为比较保守了。

另外，KataGo不退让的风格可能也是选点不同的原因之一。AGZ有明显的退让，如果让AGZ分析KataGo的棋谱，也会出现退让和不退让的分歧，有些选点也会分析不出来，但是这些点显然不能作为判断水平的依据。

hred9D

一个趣味测试，LZ6B,最初级的棋力，rtx2060s以首位计算量100k，来分析Game_020的吻合度，结果，黑棋怎么输的都不知道，最后居然以为黑棋胜率70%以上，与katago s238完全相反。当然除了布局黑棋勉强吻合度63%，中盘和官子，吻合度都没有超过60分！其中。白棋第150手，大方向居然与AGZ的一致，第150手排在第2位？！





100k首位计算量

epls9

阳光清爽海滩 发表于 2020-4-9 17:16
核心技术不可能告诉你，民间这些捣鼓AI算法的高手，他们能想到的问题人家早就碰到而且还更多，只是人家费 ...

你想多了。绝艺星阵都有针对围棋的优化，但AZ没有。AZ的一切都是建立在通用的指导基础上，不可能针对围棋搞那么多优化。KataGo的设计在效率上比AlphaZero高得多，即在围棋层面比AlphaZero优秀得多（多很多，几十甚至几千倍）。KataGo作者所属以及提供计算资源的企业Jane Street也不是什么野鸡公司。AZ作为DeepMind的实验和KataGo作为Jane Street的实验本质上没太大区别，无非是DM团队更大，实际上DM是不可能花大量的时间去做针对性优化的。有时候别把所谓“核心技术”看得那么神秘比较好，计算机科学方面所谓秘密的“核心技术”本世纪初以后就已经基本不存在了。AI方面现在大概没有什么核心技术是堆算力拼不出来的，如果有，不发表论文被别人抢先发现，或者技术牛人跳槽，亏的远比捂着亏得多。（我就是做人工神经网络研究的）

nan

分别使用
KataGo1.3.3 g170 40 block s1.35G
KataGo1.3.1 g170 20 block s1.91G
KataGo1.1    g104 20 block s0.44G
分析az自对弈第16谱（ELO 4925）

其中40B分析报告：
黑AI评分(吻合率): 77.2
黑差异手(前10):  233(14.7%), 245(12.2%), 227(9.0%), 225(8.8%), 137(-8.3%), 143(8.0%), 95(7.7%), 85(7.4%), 243(7.0%), 135(6.9%)
白AI评分(吻合率): 76.5
白差异手(前10): 242(20.5%), 164(19.4%), 248(13.2%), 144(12.0%), 142(-9.1%), 224(8.4%), 210(7.8%), 156(7.2%), 158(-6.8%), 134(6.5%)


结论：

最强的新权重已经完全解读对局：硬件设置2060gtx，20秒一步（400n/s*20=8000n，中低算力）
从40B分析获得的胜率波动看，不再如弱权重会大起大落或无脑抖动，不存在没有看到的盲点
官子部分十分精确，不再如弱权重会判断最后局面存在30%以上的胜率（leelaz257与minigoV17:14%）

因此KataGo40B目前在中低算力时超过AZ的4925elo水平是相当确定的。
如果考虑到大算力提升200elo的话，KataGo棋力达到5000-5100是合理推测。

PS：
考虑到KataGo在超高算力情况下屡屡中芈氏飞刀败北于LeelaZ，
以及神经网络测试KataGo40B处于LeelaZ245的水平（与LeelaZ相差20代权重）
KataGo的40B未来的成长值得期待！

forjoke21cn

AZ是多少分? 目前的LZ 和AZ相比是怎样的水平？

nan

forjoke21cn 发表于 2019-11-1 18:04
AZ是多少分? 目前的LZ 和AZ相比是怎样的水平？

AZ的Game006就是4550分了，Game018：5025，Game019：5125，Game020：5185

单独分析每一步，反推执行分析权重的能力，这个事儿有些困难。但是有几个很明确的特征：

如果LZ一直看作两分，则LZ没有这个谱的水平。比如LZ176之于Game005，完全搞不懂谁优谁劣。
LZ176肯定没有AZ4350Elo的水准。

如果LZ大部分看懂了，出现盲点没有较大的改变对局胜率，那么LZ应该有这个谱以上的水平。
目前我用LZ248官权，5秒复盘分析了Game009，大概可以满足这个水平。Game009的Elo是4650




Game020中，158手之后很多次序和盲点，或者100k以上高po才能分析出是最优选点，
类似就是一个良好的棋手，连连称赞，时而思索，胜率一直两分。
虽然看的懂1步或者几步，但是有的看不懂，更没方向和把握，不清楚对局者强弱。

个人保守认为LZ226达到AZ评分系统4500-4600的水平，LZ248达到4700+的水平。
与GoAIRating取得的数字近似，但是感觉她的榜单仍然有点虚高。

附加的发现就是az方法练出来的权重，官子都差。15b系列没法看。

nan

部分谱能看出AZ的黑棋弱于白棋。这个是AZ的程序设计失误导致的。
Game007所有强权重表现出白棋吻合率高，因为强力权重更均衡，看得懂7号谱。
Game009所有强权重都表现出黑棋吻合率高，因为强力权重看不懂白棋，对9号谱的白棋不了解。

nan

简单跑了下2秒的Game012，MiniGoV17_961权重，全局/前200手都是黑行棋吻合率高。

nan

本身用时少于1分钟的复盘，权威性可能受些影响。
后面我整理一下，把谱传上来，给大家带个头。后续让大佬们拿出真货练练。
希望借此大家对当前LZ的能力、短板有个清楚的认识。

nan

今天在批量分析AZ谱中Game010-Game015，看了下MiniGo_V17_961和LZ250_candidates
(Hash值e724f89d，与249官权50%胜率的候选权重)。初步的结论：

1. 400n/s的硬件，至少每手5秒以上的全盘分析，获得的结论较稳定。也就是说每步算力2000n。

2. 每步算力4000n（GTX2060运算10秒），前6选点定型，前10选点出现盲点需要高算力或未来权重。

3. MiniGoV17的顶尖权重1003、990、961、820在Game014中的胜率曲线有了较大区别。
从胜率曲线看：
LZ250-c对优劣认识清楚，黑棋除个别反弹外，胜率持续下滑至最后一手的13%；
990胜率表现接近LZ，看得到黑棋胜率下滑，但较LZ差距明显；
820判定黑劣到黑能反杀，128手后黑胜率下降，无脑至终；
961稍稍优秀，判定黑劣，140手后很迷糊；
1003最差，从黑优到两分，最后黑劣，一路混混沌沌；

MiniGo三个权重对120手后的黑白行棋无清楚认识，990-pallas较优秀，与最新LZ相比差距明显。

Game014对局Elo评分是4875，MiniGoV17的Elo在AZ Elo评分系统的4900以下。
LZ最新官权已经超越V17系列，很多细微的判定不能用990或961与LZ的结论对照了。

nan

forjoke21cn 发表于 2019-11-1 18:04
AZ是多少分? 目前的LZ 和AZ相比是怎样的水平？

你好，之前我使用Game001-010做的几个AI的复盘能力的分析，没有完全发挥LZ的能力。
今天分析Game011-015的对局，有更新的内容。
LZ的分析能力超越了MiniGo V17，之前我有些假设是没有验证过的，低估了LZ的强度。

目前的LZ（v249~v250,date:20191104）强度，用2000n算力，可以对Game014做出完全的解读。
Game015（4900Elo）前3个选点的白棋吻合率高于黑棋。但是Game016中200手后的右上打劫，对劫财的处理，
LZ的官炼官权胜率完全没有概念，暴涨暴跌，某些选点胜于轰烈官权。
LZ的轰烈官权249对打劫的胜率估计较准确，不会暴涨暴跌，曲线形态清晰，个别1-2个选点不如官炼官权。
胜率曲线如图：左249，右e724f89d


Game016（4925Elo）的后半盘，表现最好的是KataGo，其次是MiniGo的990和961，ElfV2和LZ完全不知道黑白输赢。

LZ249官权至少在4900+，对Game016-020的复盘解读问题在于LZ的后半盘弱于其他4900-权重。
LZ249、LZ250在民用显卡上高PO应该可以达到5000ELO（200手前）。但是通盘考虑，4900Elo是个合适的评价。
轰烈官权在后半盘的能力更优胜。

SmileFox

好文章！

nan

SmileFox 发表于 2019-11-4 21:09
好文章！

谢谢夸奖，本来只想随便测测，没想到遇到的问题挺多。
有些观念是随着LZ的进步变成错误的，比如V17比最新LZ强；还有的是模糊的，比如ElfV2很强。
LZ的官炼官权和轰烈官权我一直以为没差别，现在发现后半盘实力差距有点大，轰烈丹胜率稳。

今天晚上用的LZ next引擎重跑，发现MiniGo系列还能进步一点点。

R141

做了些测试，先分析了AGZ20B的最后一谱（4350elo),分别使用15B（245权重转化）6000n，20B（249权重转化）3000n ，两者胜率曲线基本相同.
然后分析了AGZ 4550elo的谱，用15b（245权重转化) 6000n,和249 3000n,分别分析,15B(245权重转化）相较于249权重，许多地方明显解读不出，胜率没有多少波动，同时15B在最后几十手胜率波动很大。
单从这个测试看，个人认为15B权重（245权重转化）的棋力大约为4400elo+

用15b,20b,40b分别分析4650elo的棋谱时，胜率曲线并无太大区别。
分析4750elo的棋谱时，15b和20b的结果仍然很相似，但与40B已有较明显的区别。
分析4850elo的棋谱时，40B的结果明显不同，显然，20B（249权重转化）离4850elo有很大差距。
另外做了两盘慢棋测试，在LZ引擎快一倍多的情况下，20b(249)执黑执白都输给了PhoenixGo(原版引擎，参数改为384childrens)
20B(249权重转化）的棋力估计在4600elo+。PhoenixGo在引擎速度只有LZ引擎一半不到的情况下，在修改参数，解除限制后，也能达到ELFV0和ELFV1的中间水准，同模拟量下和ELFV2应该差不多。
感觉PhoenixGo,KataGo,ELF OpenGo V2,MiniGo V15基本都在一个水准，都在4700~4800elo这个水准。
MiniGo V17用了SENet，大概4900左右的样子。
AGZ经历过5000elo的瓶颈，Leela Zero现在应该在这个阶段。

sxy

长见识

nan

R141 发表于 2019-11-4 22:16
做了些测试，先分析了AGZ20B的最后一谱（4350elo),分别使用15B（245权重转化）6000n，20B（249权重转化）30 ...

感谢分享！

R141

今天针对157权重做了一些测试，发表一下看法。
首先用157分析了AGZ 20B 4350elo的谱，理解程度和之前15B（245权重转化)和20B（249权重转化）有一些差距。
随后用157，20B（249权重转化），249分析AGZ 20B 4200elo的谱。
分析结果中，157认为黑棋在中盘有一定的劣势，20B则判定为黑棋有一点优势，40B认为黑棋中盘优势很大。
在棋局后期，三个权重的分析结果中黑棋胜率都出现了回升，157回升到了50%左右，20B和40B（尤其是40B）都认为黑棋优势很大。
先以棋力最强的40B为标准，以黑棋确实有翻盘的机会为条件。
AGZ 20B在4200elo的时候，没有看出翻盘的机会，或者认为黑棋的胜率虽然有提升，但仍然没有明显超过50%。而157的胜率回升到了50%。
故认为AGZ 20B(4200elo时）<157<20B(249权重转化)<249
估计157棋力大约为4200~4300elo.
另外做了157和40b对4100elo的谱的分析。

nan

批量分析获得的sgf中会保存选点信息，yzy的lizzie的鹰眼统计很直观，比如首选点的吻合率和吻合值，前3选点吻合率，都是很有价值。

Game016（Elo4925）中，LZ和MiniGo首选点和前三选点中，160手后白棋吻合度低、吻合值低，但是白胜。
虽然160手或者200手前，黑白双方吻合度/值可以达到80，但是最后的打劫打出了新高度，打出了AI的棋力问题。

Game015（Elo4900）这一盘，LZ的官炼官权选点能力比轰烈丹强，胜率估计比轰烈丹差。
全局前2选点白棋达到80，各种吻合率/值在各个阶段白棋均高于黑棋，与Game016（Elo4925）相反。
黑棋后半盘吻合率下降，可以看出黑棋输棋在于棋力不济。


目前看AZ自战谱中，Game014（Elo4875）和Game016（Elo4925）对复盘AI能力的区分度蛮高的，也是4900一线的两侧。
通过对Game015和016白棋行棋的把握程度的复盘，可以较大把握地说LZ目前摸到了Elo4900。