katago的漏洞

forjoke21cn

上周一组研究人员发表论文，描述了利用 KataGo 盲点的对抗性技术去挫败 KataGo 的方法。
https://goattack.alignmentfund.org/?row=0#no_search-board


KataGo predicts a high win probability for itself and, in a way, it’s right—it would be simple to capture most of the adversary’s stones in KataGo’s stake, achieving a decisive victory. However, KataGo plays a pass move before it has finished securing its territory, allowing the adversary to pass in turn and end the game. This results in a win for the adversary under the standard Tromp-Taylor ruleset for computer Go, as the adversary gets points for its corner territory (devoid of victim stones) whereas the victim does not receive points for its unsecured territory because of the presence of the adversary’s stones.

飞天棋神

外国程序员根本不知道围棋胜负如何判定， 人为的设置一些想当然的规则，然后告诉你，我的AI打败卡塔狗。

512song

这就像围棋规则，与围棋竞赛规则，不一样的规则。

forjoke21cn

还有续集：https://b23.tv/cBopbZo

发扬论学qi

是的这次发现的漏洞不再是攻击输赢判定规则而是局面判断，卡塔狗居然发生了一般人类都不会犯的死活判断bug，上一步认为白死下一步认为黑死，这个厉害了，也很有意义，看来卡塔狗真的不能再信赖了

SmileFox

发扬论学qi 发表于 2022-11-28 00:44
是的这次发现的漏洞不再是攻击输赢判定规则而是局面判断，卡塔狗居然发生了一般人类都不会犯的死活判断bug ...

AI在大型，复杂死活问题上出错不是一次两次了，会有盲点的，这个很正常。早期杀狗两大神器，征子，大头鬼就是例子。
现在不过是又找到了一个漏洞而已，小问题~~~

阿扬

大型对杀的确有问题

发扬论学qi

柯洁用绝艺分析了也存在同样的bug,b站有他的直播视频

发扬论学qi

SmileFox 发表于 2022-11-28 10:05
AI在大型，复杂死活问题上出错不是一次两次了，会有盲点的，这个很正常。早期杀狗两大神器，征子，大头鬼 ...

这次的不是复杂死活问题了，局面到这种地步就是一两步的对杀还是算错就不应该了，之前征子什么的关系到全盘计算还有大量位置要计算对ai来说会看不到还情有可原。现在的ai一般来说大型对杀也不逊于顶尖高手了但还是会出现少数几步内的死活问题就不是小问题了，真的关系到ai的基础可信度。就是说它长板能很长但短板也能很短就危险了，还不如长板不很长但短板也不很短的ai来的可信可用。还有之前是由棋手发现的这次是由程序员发现的意义就不一样了，程序员是不会通过自己的构思直接设计特定的对弈来诱发ai犯错的，他们能发现问题就很牛逼啊。如果是大型对杀、复杂死活、全盘性大量计算的由于剪枝、概率性计算不能像人类做针对性严密计算而出问题还情有可原，但是这种对杀剩不了几步的还出错就是大问题了，需要AI科学家们去研究补救。

SmileFox

发扬论学qi 发表于 2022-11-30 20:30
这次的不是复杂死活问题了，局面到这种地步就是一两步的对杀还是算错就不应该了，之前征子什么的关系到全 ...

我觉得吧，围棋对于AI来说的复杂和对于人类的复杂是不一样的，虽然其中有一部分复杂是重合的。
还是举征子的例子，对于人类来说是就是级位的知识，而很多ai一辈子都没学会。
对于机器学习，我们了解的还不够多，出点纰漏是很正常的。

jjyy88

继续研究吧。