飞扬围棋

标题: kataGO无法加载引擎 [打印本页]

作者: fhxa    时间: 2024-5-16 13:35
标题: kataGO无法加载引擎
WIN10 64企业版LTSC系统,驱动552.22studio,CUDA版本12.4.131,
kataGO版本(20200626-windows64/cuda10.2),用1660S显卡可以顺利加载引擎,工作正常;用4070S无法加载(一直提示加载中)。
是因为CUDA版本不对吗?
烦请哪位大神解答一下

作者: 攀登11    时间: 2024-5-19 20:10
这个嘛,是不是发下图比较好。。不大好判断问题
不过katago版本过低确实是可能的,lizzieyzy最新是20230615,2020年40系显卡还没出来,建议更新下版本
https://aistudio.baidu.com/datasetdetail/116865
https://github.com/lightvector/KataGo/releases/tag/v1.14.1
作者: LL128    时间: 2024-5-22 18:17
在终端里跑一下看看
作者: fhxa    时间: 2024-5-25 07:36
攀登11 发表于 2024-5-19 20:10
这个嘛,是不是发下图比较好。。不大好判断问题
不过katago版本过低确实是可能的,lizzieyzy最新是2023061 ...

多谢,飞桨的链接挂了,我找到了群里的,应该是同步飞桨tCORE版本的,18B,棋力好像又强了,能让我6子了

作者: fhxa    时间: 2024-5-25 07:38
LL128 发表于 2024-5-22 18:17
在终端里跑一下看看

就是加载CUDA引擎无响应了,换OPENCL加载很快

作者: keqikeqi    时间: 2024-5-25 20:55
用的哪个版本的katago?
4070s一定要用trt那个版本,opencl比cuda慢多了,而cuda又比trt慢多了
作者: fhxa    时间: 2024-5-27 12:36
keqikeqi 发表于 2024-5-25 20:55
用的哪个版本的katago?
4070s一定要用trt那个版本,opencl比cuda慢多了,而cuda又比trt慢多了

现在是TRT版本,又快又厉害,让6子搞不过它,我的棋力这么弱了吗

作者: keqikeqi    时间: 2024-5-29 00:28
fhxa 发表于 2024-5-27 12:36
现在是TRT版本,又快又厉害,让6子搞不过它,我的棋力这么弱了吗

trt使用了2系以上显卡的tensor core,性能相当强大。
按理说同一个环境下,2060的trt已经可以工作的,换4070也没问题啊。

你安装的trt哪个版本?目前katago 1.14.0 trt是cuda 12.1 + cudnn8.9.7.29 + tensorRT8.6.1.6

作者: fhxa    时间: 2024-5-29 08:14
keqikeqi 发表于 2024-5-29 00:28
trt使用了2系以上显卡的tensor core,性能相当强大。
按理说同一个环境下,2060的trt已经可以工作的,换 ...

现在就是CUDA+CUDNN,官网下载的对应版本。TRT版本在哪里看啊?

作者: fhxa    时间: 2024-5-29 08:30
本帖最后由 fhxa 于 2024-5-29 08:37 编辑
keqikeqi 发表于 2024-5-29 00:28
trt使用了2系以上显卡的tensor core,性能相当强大。
按理说同一个环境下,2060的trt已经可以工作的,换 ...

我在官网找到了对应CUDA12的TRT10版本(和我的驱动、CUDA/CUDNN匹配),也有低一些的TRT8,这个需要安装吗?现在KATAGO的 TRT版本引擎可以运行,没装TRT10?
作者: keqikeqi    时间: 2024-5-31 20:04
fhxa 发表于 2024-5-29 08:30
我在官网找到了对应CUDA12的TRT10版本(和我的驱动、CUDA/CUDNN匹配),也有低一些的TRT8,这个需要安装 ...

katago官方版本推荐的搭配:
katago-v1.14.1-trt8.6.1-cuda12.1-windows-x64.zip
你用trt10运行起来了吗?

作者: fhxa    时间: 2024-5-31 20:58
本帖最后由 fhxa 于 2024-5-31 21:04 编辑
keqikeqi 发表于 2024-5-31 20:04
katago官方版本推荐的搭配:
katago-v1.14.1-trt8.6.1-cuda12.1-windows-x64.zip
你用trt10运行起来了 ...

没装TRT10啊?只装了CUDA和CUDNN,但是KATAGO引擎选择的是TRT18B版本,速度飞快。我不知道装和不装有没有区别?在官网找到了TRT10,因为目前运行正常,所以就没装它。
你发的这个链接,我在KATAGO官网找到了,就是不知道咋用?我下的是飞桨的整合包。

作者: keqikeqi    时间: 2024-6-1 12:51
fhxa 发表于 2024-5-31 20:58
没装TRT10啊?只装了CUDA和CUDNN,但是KATAGO引擎选择的是TRT18B版本,速度飞快。我不知道装和不装有没有 ...

我觉得没安装trt那些支持包的话,即使用trt引擎,也没有真正开启tensor core,用的还是cuda吧
作者: 攀登11    时间: 2024-6-1 18:09
keqikeqi 发表于 2024-6-1 12:51
我觉得没安装trt那些支持包的话,即使用trt引擎,也没有真正开启tensor core,用的还是cuda吧

兄弟你误导楼主了,整合包自带trt支持文件,只要CUDA版能用,开的是trt就OK了,不需要自己配置

作者: 攀登11    时间: 2024-6-1 18:14
记忆中最新整合包自带trt的(要是我记错了那就是上一个版本),想用最新的直接把git上最新的katago-trt压缩包下载下来解压,用里边的katago.exe替换原来的即可
作者: keqikeqi    时间: 2024-6-1 20:57
要确认的话,到对应trt引擎目录下开个benchmark测试就知道了
作者: fhxa    时间: 2024-6-2 08:47
攀登11 发表于 2024-6-1 18:14
记忆中最新整合包自带trt的(要是我记错了那就是上一个版本),想用最新的直接把git上最新的katago-trt压缩 ...

是的,整合包自带6个引擎,其中包括官方的TRT18B版本,和非官方的TRT18B版本,用哪个选择加载就好了。
话说GIT上下的KATAGO包,我整个替换的整合包中的KATAGO文件夹,但是报错无法运行,单独替换KATAGO.exe文件没试过,等下试试看。

作者: fhxa    时间: 2024-6-2 08:48
keqikeqi 发表于 2024-6-1 20:57
要确认的话,到对应trt引擎目录下开个benchmark测试就知道了

在命令行模式下吗,具体怎么操作能指点一下吗

作者: keqikeqi    时间: 2024-6-2 11:26
fhxa 发表于 2024-6-2 08:48
在命令行模式下吗,具体怎么操作能指点一下吗

katago benchmark -config xxx.cfg -model 18b-s9131-d4087.bin.gz

你可以把输出的结果帖上来看一下

作者: keqikeqi    时间: 2024-6-2 14:17
keqikeqi 发表于 2024-6-2 11:26
katago benchmark -config xxx.cfg -model 18b-s9131-d4087.bin.gz

你可以把输出的结果帖上来看一下

命令行里面的xxx.cfg替换成自己的,trt的cfg里面要打开trtDeviceToUse = 0
18b-s9131-d4087.bin.gz替换成要测试的权重文件名。

作者: loveboy427    时间: 2024-6-3 20:59
不知道lizzieyzy最新有卡塔狗28b整合包的啥时候出来
作者: fhxa    时间: 2024-6-6 19:53
本帖最后由 fhxa 于 2024-6-6 19:57 编辑
keqikeqi 发表于 2024-6-2 14:17
命令行里面的xxx.cfg替换成自己的,trt的cfg里面要打开trtDeviceToUse = 0
18b-s9131-d4087.bin.gz替换 ...

命令行模式下,进不去TRT引擎的目录啊,目录下没找到CFG文件,大佬能不能详细指导下,没搞过这么高端的操作
权重文件夹里面,有三个权重文件,有你说的那个文件,但是主要无法进入引擎目录下“benchmark”输入那个命令:
katago benchmark -config xxx.cfg -model 18b-s9131-d4087.bin.gz



作者: fhxa    时间: 2024-6-6 19:55
keqikeqi 发表于 2024-6-2 14:17
命令行里面的xxx.cfg替换成自己的,trt的cfg里面要打开trtDeviceToUse = 0
18b-s9131-d4087.bin.gz替换 ...

命令行模式下,进不去TRT引擎的目录啊,目录下没找到CFG文件,大佬能不能详细指导下,没搞过这么高端的操作
权重文件夹里面,有三个权重文件,有你说的那个文件,但是主要无法进入引擎目录下“benchmark”输入那个命令:
katago benchmark -config xxx.cfg -model 18b-s9131-d4087.bin.gz



作者: keqikeqi    时间: 2024-6-6 22:48
fhxa 发表于 2024-6-6 19:55
命令行模式下,进不去TRT引擎的目录啊,目录下没找到CFG文件,大佬能不能详细指导下,没搞过这么高端的操 ...

估计这个集成打包版本把各种配置、权重分开放了。。。

在资源管理器顶上那个目录的地方点一下,输入cmd回车,就进入这个目录下的命令行界面了。

然后对应的cfg和权重用全路径名就可以运行那个测试了

广告一下,用我发的那个帖子的整合包会方便多了。有时间我可以远程帮你操作一下

作者: zjh889    时间: 2024-6-7 00:52
keqikeqi 发表于 2024-5-31 20:04
katago官方版本推荐的搭配:
katago-v1.14.1-trt8.6.1-cuda12.1-windows-x64.zip
你用trt10运行起来了 ...

这个的CPU版本,还是显卡版本?

作者: fhxa    时间: 2024-6-7 07:26
keqikeqi 发表于 2024-6-6 22:48
估计这个集成打包版本把各种配置、权重分开放了。。。

在资源管理器顶上那个目录的地方点一下,输入cm ...

好的大佬,你的帖子在哪里,我去看看

作者: keqikeqi    时间: 2024-6-7 22:12
fhxa 发表于 2024-6-7 07:26
好的大佬,你的帖子在哪里,我去看看

客气了,都是棋友。

http://www.flygo.net/bbs/forum.p ... &extra=page%3D1

作者: keqikeqi    时间: 2024-6-7 22:13
zjh889 发表于 2024-6-7 00:52
这个的CPU版本,还是显卡版本?

您是问什么?trt是需要显卡有tensor core的版本




欢迎光临 飞扬围棋 (http://bbs.flygo.net/bbs/) Powered by Discuz! X3.2