值得期待的katago18B权重

512song · 发表于 2022-12-9 09:35

前天在更新公众号后，有网友评论鼓励，同时提到：最近10b权重放出来了，希望有时间测一下。
之前在一个katago群中，看到过大家讨论18b权重，但无论是katago的github，还是katagotraining.org网站上，均没有看到18b的消息。看到网友回复，便从群里下载了管理员上传的linux版本已编译的katago程序，以及b18c384权重文件，上传到GPU云服务器上，进行18b与40b的十番棋。b18c384权重文件只有95M，比40B权重文件的一半多一点，是60B权重的四分之一不足。因为是看着katago20B权重与Leelazero40B权重的缠斗中成长的，所以先入为主地认为18B是一个简化版的权重，针对的是我这样的陋室AI。孰料，18B权重的表现让我大吃一惊，或者说是惊喜。与S670一样，在首局攻守无序失利后，其后开始强力反弹，以7：3获胜将S1184降格。棋谱在公众号中，就不重复上传了。Maxvisits设置为30000。https://mp.weixin.qq.com/s?__biz=MzU1MjM0NTU3MQ==&mid=2247491642&idx=1&sn=04224e3ddce63982a06277cab14482f1&chksm=fb812ab6ccf6a3a06024c5e814206f6fbf6eda6aae6b882285ffcabb14e32e568475c5ed4fb9#rd

罗浩宇 · 发表于 2022-12-12 00:16

你好。你的微信号我每期保存。不管是古谱还是狗狗。都是我们爱好者的财富，谢谢你!

sccr028 · 发表于 2022-12-9 10:09

支持支持！！！

forjoke21cn · 发表于 2022-12-9 11:48

方便把权重贴出来吗？

512song · 发表于 2022-12-12 08:34

罗浩宇发表于 2022-12-12 00:16
你好。你的微信号我每期保存。不管是古谱还是狗狗。都是我们爱好者的财富，谢谢你!

谢谢鼓励。

hred9D · 发表于 2022-12-12 20:55

真的厉害了。18b权重执黑和它的专门引擎，杀得40B1184009丢盔弃甲

zlyn · 发表于 2022-12-19 19:42

本帖最后由 zlyn 于 2022-12-19 23:40 编辑

楼上两位兄弟，看权重谁更厉害，需要把自己的电脑硬件配置报出来吧。
我18b和b40s1184交换黑白测了两盘，18b用的是opencl引擎，s1184用的是tensor引擎，每步棋设置15秒，对AI也算比较慢的棋了。结果18b两盘皆墨。没有感觉有何厉害之处。本人显卡2080ti，就和本人测试60b和40b一样，60b竟然打不过40b，我觉得更高一级的权重需要更强劲的硬件才能发挥出棋力，相信高规格的40系显卡跑60b和40b的话，60b会更厉害。低等级的硬件配置，运行小权重的话会更有优势，缩小了搜索量和受算力瓶颈制约，更高级的权重无法发挥出作用。

512song · 发表于 2022-12-20 08:57

本帖最后由 512song 于 2022-12-20 08:58 编辑

我在原公众号中每局有配置设置，转文的时候忽略了。
原配置为恒源云GPU3090，Maxvisit为3万。

zlyn · 发表于 2022-12-20 11:10

512song 发表于 2022-12-20 08:57
我在原公众号中每局有配置设置，转文的时候忽略了。
原配置为恒源云GPU3090，Maxvisit为3万。

GPU云服务器实际能分配给用户多少算力？能整个GPU火力全开吗？

攀登11 · 发表于 2022-12-20 12:00

zlyn 发表于 2022-12-20 11:10
GPU云服务器实际能分配给用户多少算力？能整个GPU火力全开吗？

之前用过恒源云，跑katagoGPU利用率基本能达到97%~98%

hred9D · 发表于 2022-12-20 19:26

本帖最后由 hred9D 于 2022-12-20 19:31 编辑

zlyn 发表于 2022-12-19 19:42
楼上两位兄弟，看权重谁更厉害，需要把自己的电脑硬件配置报出来吧。
我18b和b40s1184交换黑白测了两盘，1 ...

你对权重的测试条件有误解，所以设置不对，对局结果不对。
不要拼硬件和时间，应该把Maxvisits设置为相同的计算量，比如双方30000，双方15000，这才公平。
这也是炼丹环境的设置原则，训练权重是不考虑硬件高低的，硬件高低不影响权重的质量，只是影响权重升级的速度而已。
相同Maxvisits数量设置，60B对40B，胜率是很高的。
18b本来是CUDA环境编译的，引擎不同，相同硬件下，居然运行速度是40B的五分之一左右，你拿4090也跑不起来计算量，此时18b每秒计算量1100，而40B是7000左右。
时间相同时，一方绝对领先的计算量，40B胜率高是正常的，但是条件不对等，结果不对。

zlyn · 发表于 2022-12-21 11:42

本帖最后由 zlyn 于 2022-12-21 12:02 编辑

hred9D 发表于 2022-12-20 19:26
你对权重的测试条件有误解，所以设置不对，对局结果不对。
不要拼硬件和时间，应该把Maxvisits设置为相 ...

我测试60B对40B的时候，用katago benchmark 命令最优化了权重双方的numSearchThreads数，而且Maxvisits双方都设置成50万，都是用的tensor引擎进行的对战。60b就是打不过40b，问题出在哪里呢？每秒钟棋步搜索量60b几乎不到40b的一半甚至更低，问题还是显卡算力有了瓶颈啊。
要是如兄弟所说，硬件高低不影响权重的质量的话，那么为何有那么多AI爱好者津津乐道于升级更高更新的显卡甚至多卡呢。或者举个例子说，用10多年前老掉牙的显卡，只要给其足够长的落子时间和计算量，照样可以打败4090显卡，这不现实吧？

hred9D · 发表于 2022-12-21 12:17

本帖最后由 hred9D 于 2022-12-21 12:24 编辑

zlyn 发表于 2022-12-21 11:42
我测试60B对40B的时候，用katago benchmark 命令最优化了权重双方的numSearchThreads数，而且Maxvisits双 ...

同一台电脑上引擎对弈，测试权重，设置相同计算量是必要的。
网络上AI对弈，相同权重，相同引擎，相同计算量，高端显卡绝大概率胜低端显卡。这个与CUDA数量和其他配置也有关系。这毕竟是两个独立的硬件配置。实际的网络遛狗，高低端显卡这中间应该也有计算量的差异。

sdgmly · 发表于 2022-12-27 09:28

这个18B确实厉害，和20B对抗6局全胜！！！

帐号		自动登录	找回密码
密码			注册

值得期待的katago18B权重

本帖子中包含更多资源