飞扬围棋

标题: 从常昊世界大赛的AI分析情况，看吻合度能否衡量棋手水平 [打印本页]
作者: flyingsee    时间: 2021-8-23 00:09
标题: 从常昊世界大赛的AI分析情况，看吻合度能否衡量棋手水平
本帖最后由 flyingsee 于 2021-8-24 11:32 编辑

根据崔灿五段的论文标注，我下载了其分析的全部棋谱。主要是要看一看，比赛胜负和AI吻合度的关系。
我讨论问题有一个

大前提：生活在同一时代棋手，围棋水平的高低以胜负论，胜者水平高，负者水平低。

大家赞不赞成？不赞成您可以不继续往下看。如果有人认为，有了AI吻合度这个“尺子”，就可以不用“胜负”这个最根本的衡量标准去衡量，那我也不用跟您继续讨论。

新发现的基本事实：AI吻合度与一局棋的胜负，不仅不存在必然的对应关系，而且在很大程度上，AI吻合度也不反映胜负关系。

我从崔灿五段整理分析过的棋谱里，筛选出常昊九段180手以上（因为崔老师就是按这个标准选的）的棋局共18局。

摘录数据如下（我没有做任何分析，仅仅是用katago打开了棋谱，棋谱是由崔老师分析完成的，我只需要读取数据就可以了）：

　
常昊
对手
棋局
前180
全局平均
差
前180
全局平均
差
世界赛1
58.9
65
-6.1
31.1
50
-18.9
常昊败，全盘吻合度高于对手李昌镐
世界赛2
47.8
47.5
0.3
56.7
57.4
-0.7
常昊败
世界赛3
54.4
59.3
-4.9
54.4
58.9
-4.5
常昊败，全盘吻合度高于对手李昌镐
世界赛4
53.3
64.4
-11.1
54.4
56
-1.6
常昊败，全盘吻合度高于对手李昌镐
世界赛5
50
60.9
-10.9
40
53.3
-13.3
常昊败，全盘吻合度高于对手李昌镐
世界赛6
45.6
43.2
2.4
48.9
49.5
-0.6
常昊胜，全盘吻合度低于对手曹薰铉
世界赛7
50
50.8
-0.8
56.7
55.7
1
常昊败
世界赛8
53.3
56.5
-3.2
61.1
61.5
-0.4
常昊败
世界赛9
48.3
49.5
-1.2
58.4
58.8
-0.4
常昊败
世界赛10
57.8
58.4
-0.6
60
56.5
3.5
常昊败，全盘吻合度高于对手李世石
世界赛11
52.3
50.5
1.8
59.1
59.8
-0.7
常昊败
世界赛12
51.1
55.8
-4.7
53.3
52.2
1.1
常昊败，全盘吻合度高于对手崔哲瀚
世界赛13
55.6
60.6
-5
61.1
60.9
0.2
常昊胜，全盘吻合度低于对手崔哲瀚
世界赛14
51.1
55.5
-4.4
48.9
53.4
-4.5
常昊胜
世界赛15
60
65
-5
57.8
58.7
-0.9
常昊胜
世界赛16
63.3
65.3
-2
42.2
46.2
-4
常昊败，全盘吻合度高于对手古力
世界赛17
61.1
67.5
-6.4
57.8
63.3
-5.5
常昊胜
世界赛18
67.8
62.7
5.1
58.9
58.8
0.1
常昊败，全盘吻合度高于对手李世石
　平均
54.539
57.689
-3.150
53.378
56.161
-2.783


18局比赛中，常昊负13局，胜5局。明显负多胜少。但常昊前180手平均AI吻合度54.539%，高于对手的53.378%；常昊全局的AI吻合度平均57.689%；高于对手平均56.161%。
特别是，比赛胜负结果与全盘所有手数的AI吻合度对比结果相反的，整整10局。
足以证明

一、AI吻合度与一局棋的胜负，不仅不存在必然的对应关系，而且，一定数据基础上的平均AI吻合度也不能反映胜负关系。

二、对于同一个时代的棋手来说，平均AI吻合度，不能直接证明胜负关系，也就是说，AI吻合度不能直接证明棋力水平的高低。

三、对于不同时代的棋手来说，AI吻合度更加无法间接证明棋力水平的高低。

四、崔灿老师的论文如果不解决上述问题，则整篇论文存在重大理论缺陷，所有的其他讨论根本毫无意义。

【关于“四”，多解释几句】

崔灿老师以平均AI吻合度这个指标为核心，辅以一定的数据基础和边界条件，构建了一个衡量不同棋手（含不同时代的棋手）水平高低的理论工具。

这个理论工具要想发挥作用，就必须证明，它在这样的数据、条件下，面对绝大多数的棋手，是“普遍适用”的。

崔灿老师在论文中，首先是承认了他的这个理论工具对李昌镐的适用上就有问题。

李昌镐在相当长时间内是当之无愧毫无争议的世界第一人。但是AI吻合度指标就是看着不高（大意如此）。

那么除了李昌镐的问题没有解决意外，我用崔灿老师的数据，分析常昊的例子，又从另一个角度提了反例，证明即使平均AI吻合度高于对手，常昊的成绩仍然是负多、胜少——说明在一定时间内，常昊的围棋水平还是不如对手。这就是这个理论工具的另一个反例。

这些都说明，这个理论工具，即使是在限定的数据基础上、边界条件下，也不具有“普遍适用性”。

连活着的棋手身上的数据都解释不通的理论工具，怎么可能用来解释不同历史时期的棋手的数据？

换句话说，这个理论工具如果不能解决活着的棋手的数据问题，就根本不能去随意推广到古人头上。



作者: 闲云野鹤123    时间: 2021-8-23 02:31
本帖最后由 闲云野鹤123 于 2021-8-23 18:22 编辑

韧圣的名号不假，即使不能命中一选，至少也有二选三选
作者: nor    时间: 2021-8-23 12:32
请问棋谱在哪里下载，可以分享一下吗？
作者: SmileFox    时间: 2021-8-23 13:47
一盘棋中AI吻合度与胜负显然是有相关性的，但没有必然性。
但如果从泛泛而谈，AI吻合度对棋力水平，棋力高低的评判肯定是有很强的指向性的。

设想一下，如果有一个人每盘棋的AI吻合度都是99%，但总会犯一两个致命的错误，导致他每盘棋必输。那他的棋算厉害吗？
作者: flyingsee    时间: 2021-8-23 13:51
nor 发表于 2021-8-23 12:32
请问棋谱在哪里下载，可以分享一下吗？

[1] 本研究所有经围棋AI分析后的棋谱样本，均可通过https://github.com/cuicanwq/WEIQI/releases/tag/traditional链接下载查验。
作者: nor    时间: 2021-8-23 13:54
flyingsee 发表于 2021-8-23 13:51
[1] 本研究所有经围棋AI分析后的棋谱样本，均可通过https://github.com/cuicanwq/WEIQI/releases/tag/tra ...

感谢楼主的回复
作者: welland    时间: 2021-8-23 21:26
吻合度高输棋说明大漏招多。
一个漏招胜率降个几十点，后面招招绝艺都没扳回来有毛用。
作者: zhizhonghe    时间: 2021-8-23 21:30
SmileFox 发表于 2021-8-23 13:47
一盘棋中AI吻合度与胜负显然是有相关性的，但没有必然性。
但如果从泛泛而谈，AI吻合度对棋力水平，棋力高 ...

水平能如此之高的吻合度，必然不会犯如此低的错误。你的这个假设不成立！
作者: gujgujguj    时间: 2021-8-23 21:48
常昊缺的是一把狠劲，棋上，同时代已是顶尖。
作者: 老云子    时间: 2021-8-23 22:13
gujgujguj 发表于 2021-8-23 21:48
常昊缺的是一把狠劲，棋上，同时代已是顶尖。

都说1984阅兵，有杀气，因为刚打完仗下来；→ 狼性


其实1950's阅兵，兵都像狼犬一样嗷嗷前冲；→ 虎贲


至于2019阅兵，很整齐很帅气，其余没了。→ 韧圣？
作者: 阿扬    时间: 2021-8-23 22:34
这数据也说明常昊在棋的理解上的确高手很多
作者: maoxiong2019    时间: 2021-8-23 22:34
对手是人不是ai，对手每步棋都看的比你远你还能赢吗？
作者: ILoveBt2    时间: 2021-8-24 00:15
用吻合度来衡量棋手水平看似合理，其实有很大的局限性。拿来比较古今棋手的水平更是不可取，唯一的结果就是引来口水战。论证的文章越写越长，越来越看上去“科学”。既然围棋也算是一种竞技运动，那就要用战绩来衡量棋手水平。这就好比足球比赛，衡量球队一个赛季的表现从来都不是看这个赛季有多少次射门，多少次传球等技术统计等等，唯一衡量指标就是胜平负。
作者: 魔刀修罗    时间: 2021-8-24 06:19
棋的高低，以胜负定论，这本来就是“伪命题”。
当年秀哉来中国，输给了段祺瑞，如果以胜负论，段祺瑞的棋比秀哉厉害？
当然我们都知道这盘棋是怎么回事。
这个例子说明不能单看胜负，来论棋力的高低。
作者: flyingsee    时间: 2021-8-24 08:59
魔刀修罗 发表于 2021-8-24 06:19
棋的高低，以胜负定论，这本来就是“伪命题”。
当年秀哉来中国，输给了段祺瑞，如果以胜负论，段祺瑞的棋 ...

您觉得有意思就好。

我们无所谓。


作者: 肥仔胡    时间: 2021-8-24 09:13
本帖最后由 肥仔胡 于 2021-8-24 09:16 编辑

魔刀兄在开玩笑，有时我也会开这种玩笑，当然主要看心情，不过今天我可以一本正经一下。秀哉输给段祺瑞，过剔生受二子输给段祺瑞这种传闻，我是不相信的。如果有的话请贴图。段是个杰出的政治家，他在很困难的情况下，保证了当时中国的主权和领土完整，非常令人尊敬。吴清源先生说段有日本县代表的水平，相当于当下中国业6的水平。我是看到他受二子赢过高部道平一局，他当时年龄已经很大了，可揣见其年轻时棋力。我个人觉得，段可能巅峰时和南刘北顾或者北过不相上下。
作者: 肥仔胡    时间: 2021-8-24 09:18
假如我当初在段府当差，我再怎么也不会把雇主污名化，看不惯我可以不干，但摸着良心不能去诋毁自己的衣食父母。
作者: gujgujguj    时间: 2021-8-24 10:51
某一年，某大赛，常大优，老曹狼狈不堪，角上一条龙应该必死，常选择了第九种武器，老曹逃脱生天，又是憾负！
作者: yilei2110    时间: 2021-8-24 10:56
魔刀修罗 发表于 2021-8-24 06:19
棋的高低，以胜负定论，这本来就是“伪命题”。
当年秀哉来中国，输给了段祺瑞，如果以胜负论，段祺瑞的棋 ...

棋的高低不以胜负论，那以什么论？
作者: 魔刀修罗    时间: 2021-8-24 18:48
yilei2110 发表于 2021-8-24 10:56
棋的高低不以胜负论，那以什么论？

以胜负论，那么段祺瑞比秀哉强？
作者: 魔刀修罗    时间: 2021-8-24 18:55
本帖最后由 魔刀修罗 于 2021-8-24 18:57 编辑
肥仔胡 发表于 2021-8-24 09:13
魔刀兄在开玩笑，有时我也会开这种玩笑，当然主要看心情，不过今天我可以一本正经一下。秀哉输给段祺瑞，过 ...

也不算开玩笑，棋力高的输给棋力低的，也正常。
举个例子：
如果某个人在一些特定的情况下赢了某位公认棋力高强的人，然后由于某些原因，两人再无对局。
那么根据两人留下的棋谱，是否可以认定棋力的高低？

比如：以前的克星说;
国内有黄德勋VS聂卫平、
日本也有这类情况吧。
作者: 魔刀修罗    时间: 2021-8-24 19:04
再说个例子：
当年聂马七番，老聂赢了。
当时老聂的棋真的比马小强？
作者: 魔刀修罗    时间: 2021-8-24 19:07
坂田的几次名人、本因坊七番，输了，（啥升仙峡大逆转。。。）
当时他的棋真的不如对手？
作者: davy    时间: 2021-8-24 22:41
目数损失有可能是个很好的指标，可以统计分析下，看看结果。
作者: 15319    时间: 2021-9-1 21:52
看一看，



欢迎光临 飞扬围棋 (http://bbs.flygo.net/Bbs/) Powered by Discuz! X3.2