飞扬围棋

标题: kataGO无法加载引擎 [打印本页]

作者: fhxa 时间: 2024-5-16 13:35
标题: kataGO无法加载引擎
WIN10 64企业版LTSC系统，驱动552.22studio，CUDA版本12.4.131，
kataGO版本（20200626-windows64/cuda10.2），用1660S显卡可以顺利加载引擎，工作正常；用4070S无法加载（一直提示加载中）。
是因为CUDA版本不对吗？
烦请哪位大神解答一下

作者: 攀登11 时间: 2024-5-19 20:10
这个嘛，是不是发下图比较好。。不大好判断问题
不过katago版本过低确实是可能的，lizzieyzy最新是20230615，2020年40系显卡还没出来，建议更新下版本
https://aistudio.baidu.com/datasetdetail/116865
https://github.com/lightvector/KataGo/releases/tag/v1.14.1

作者: LL128 时间: 2024-5-22 18:17
在终端里跑一下看看

作者: fhxa 时间: 2024-5-25 07:36

攀登11 发表于 2024-5-19 20:10
这个嘛，是不是发下图比较好。。不大好判断问题
不过katago版本过低确实是可能的，lizzieyzy最新是2023061 ...

多谢，飞桨的链接挂了，我找到了群里的，应该是同步飞桨tCORE版本的，18B，棋力好像又强了，能让我6子了

作者: fhxa 时间: 2024-5-25 07:38

LL128 发表于 2024-5-22 18:17
在终端里跑一下看看

就是加载CUDA引擎无响应了，换OPENCL加载很快

作者: keqikeqi 时间: 2024-5-25 20:55
用的哪个版本的katago？
4070s一定要用trt那个版本，opencl比cuda慢多了，而cuda又比trt慢多了

作者: fhxa 时间: 2024-5-27 12:36

keqikeqi 发表于 2024-5-25 20:55
用的哪个版本的katago？
4070s一定要用trt那个版本，opencl比cuda慢多了，而cuda又比trt慢多了

现在是TRT版本，又快又厉害，让6子搞不过它，我的棋力这么弱了吗

作者: keqikeqi 时间: 2024-5-29 00:28

fhxa 发表于 2024-5-27 12:36
现在是TRT版本，又快又厉害，让6子搞不过它，我的棋力这么弱了吗

trt使用了2系以上显卡的tensor core，性能相当强大。
按理说同一个环境下，2060的trt已经可以工作的，换4070也没问题啊。

你安装的trt哪个版本？目前katago 1.14.0 trt是cuda 12.1 + cudnn8.9.7.29 + tensorRT8.6.1.6

作者: fhxa 时间: 2024-5-29 08:14

keqikeqi 发表于 2024-5-29 00:28
trt使用了2系以上显卡的tensor core，性能相当强大。
按理说同一个环境下，2060的trt已经可以工作的，换 ...

现在就是CUDA+CUDNN，官网下载的对应版本。TRT版本在哪里看啊？

作者: fhxa 时间: 2024-5-29 08:30
本帖最后由 fhxa 于 2024-5-29 08:37 编辑

keqikeqi 发表于 2024-5-29 00:28
trt使用了2系以上显卡的tensor core，性能相当强大。
按理说同一个环境下，2060的trt已经可以工作的，换 ...

我在官网找到了对应CUDA12的TRT10版本（和我的驱动、CUDA/CUDNN匹配），也有低一些的TRT8，这个需要安装吗？现在KATAGO的 TRT版本引擎可以运行，没装TRT10？

作者: keqikeqi 时间: 2024-5-31 20:04

fhxa 发表于 2024-5-29 08:30
我在官网找到了对应CUDA12的TRT10版本（和我的驱动、CUDA/CUDNN匹配），也有低一些的TRT8，这个需要安装 ...

katago官方版本推荐的搭配：
katago-v1.14.1-trt8.6.1-cuda12.1-windows-x64.zip
你用trt10运行起来了吗？

作者: fhxa 时间: 2024-5-31 20:58
本帖最后由 fhxa 于 2024-5-31 21:04 编辑

keqikeqi 发表于 2024-5-31 20:04
katago官方版本推荐的搭配：
katago-v1.14.1-trt8.6.1-cuda12.1-windows-x64.zip
你用trt10运行起来了 ...

没装TRT10啊？只装了CUDA和CUDNN，但是KATAGO引擎选择的是TRT18B版本，速度飞快。我不知道装和不装有没有区别？在官网找到了TRT10，因为目前运行正常，所以就没装它。
你发的这个链接，我在KATAGO官网找到了，就是不知道咋用？我下的是飞桨的整合包。

作者: keqikeqi 时间: 2024-6-1 12:51

fhxa 发表于 2024-5-31 20:58
没装TRT10啊？只装了CUDA和CUDNN，但是KATAGO引擎选择的是TRT18B版本，速度飞快。我不知道装和不装有没有 ...

我觉得没安装trt那些支持包的话，即使用trt引擎，也没有真正开启tensor core，用的还是cuda吧

作者: 攀登11 时间: 2024-6-1 18:09

keqikeqi 发表于 2024-6-1 12:51
我觉得没安装trt那些支持包的话，即使用trt引擎，也没有真正开启tensor core，用的还是cuda吧

兄弟你误导楼主了，整合包自带trt支持文件，只要CUDA版能用，开的是trt就OK了，不需要自己配置

作者: 攀登11 时间: 2024-6-1 18:14
记忆中最新整合包自带trt的（要是我记错了那就是上一个版本），想用最新的直接把git上最新的katago-trt压缩包下载下来解压，用里边的katago.exe替换原来的即可

作者: keqikeqi 时间: 2024-6-1 20:57
要确认的话，到对应trt引擎目录下开个benchmark测试就知道了

作者: fhxa 时间: 2024-6-2 08:47

攀登11 发表于 2024-6-1 18:14
记忆中最新整合包自带trt的（要是我记错了那就是上一个版本），想用最新的直接把git上最新的katago-trt压缩 ...

是的，整合包自带6个引擎，其中包括官方的TRT18B版本，和非官方的TRT18B版本，用哪个选择加载就好了。
话说GIT上下的KATAGO包，我整个替换的整合包中的KATAGO文件夹，但是报错无法运行，单独替换KATAGO.exe文件没试过，等下试试看。

作者: fhxa 时间: 2024-6-2 08:48

keqikeqi 发表于 2024-6-1 20:57
要确认的话，到对应trt引擎目录下开个benchmark测试就知道了

在命令行模式下吗，具体怎么操作能指点一下吗

作者: keqikeqi 时间: 2024-6-2 11:26

fhxa 发表于 2024-6-2 08:48
在命令行模式下吗，具体怎么操作能指点一下吗

katago benchmark -config xxx.cfg -model 18b-s9131-d4087.bin.gz

你可以把输出的结果帖上来看一下

作者: keqikeqi 时间: 2024-6-2 14:17

keqikeqi 发表于 2024-6-2 11:26
katago benchmark -config xxx.cfg -model 18b-s9131-d4087.bin.gz

你可以把输出的结果帖上来看一下

命令行里面的xxx.cfg替换成自己的，trt的cfg里面要打开trtDeviceToUse = 0
18b-s9131-d4087.bin.gz替换成要测试的权重文件名。

作者: loveboy427 时间: 2024-6-3 20:59
不知道lizzieyzy最新有卡塔狗28b整合包的啥时候出来

作者: fhxa 时间: 2024-6-6 19:53
本帖最后由 fhxa 于 2024-6-6 19:57 编辑

keqikeqi 发表于 2024-6-2 14:17
命令行里面的xxx.cfg替换成自己的，trt的cfg里面要打开trtDeviceToUse = 0
18b-s9131-d4087.bin.gz替换 ...

命令行模式下，进不去TRT引擎的目录啊，目录下没找到CFG文件，大佬能不能详细指导下，没搞过这么高端的操作

权重文件夹里面，有三个权重文件，有你说的那个文件，但是主要无法进入引擎目录下“benchmark”输入那个命令：
katago benchmark -config xxx.cfg -model 18b-s9131-d4087.bin.gz

作者: fhxa 时间: 2024-6-6 19:55

keqikeqi 发表于 2024-6-2 14:17
命令行里面的xxx.cfg替换成自己的，trt的cfg里面要打开trtDeviceToUse = 0
18b-s9131-d4087.bin.gz替换 ...

命令行模式下，进不去TRT引擎的目录啊，目录下没找到CFG文件，大佬能不能详细指导下，没搞过这么高端的操作

作者: keqikeqi 时间: 2024-6-6 22:48

fhxa 发表于 2024-6-6 19:55
命令行模式下，进不去TRT引擎的目录啊，目录下没找到CFG文件，大佬能不能详细指导下，没搞过这么高端的操 ...

估计这个集成打包版本把各种配置、权重分开放了。。。

在资源管理器顶上那个目录的地方点一下，输入cmd回车，就进入这个目录下的命令行界面了。

然后对应的cfg和权重用全路径名就可以运行那个测试了

广告一下，用我发的那个帖子的整合包会方便多了。有时间我可以远程帮你操作一下

作者: zjh889 时间: 2024-6-7 00:52

keqikeqi 发表于 2024-5-31 20:04
katago官方版本推荐的搭配：
katago-v1.14.1-trt8.6.1-cuda12.1-windows-x64.zip
你用trt10运行起来了 ...

这个的CPU版本，还是显卡版本？

作者: fhxa 时间: 2024-6-7 07:26

keqikeqi 发表于 2024-6-6 22:48
估计这个集成打包版本把各种配置、权重分开放了。。。

在资源管理器顶上那个目录的地方点一下，输入cm ...

好的大佬，你的帖子在哪里，我去看看

作者: keqikeqi 时间: 2024-6-7 22:12

fhxa 发表于 2024-6-7 07:26
好的大佬，你的帖子在哪里，我去看看

客气了，都是棋友。

http://www.flygo.net/bbs/forum.p ... &extra=page%3D1

作者: keqikeqi 时间: 2024-6-7 22:13

zjh889 发表于 2024-6-7 00:52
这个的CPU版本，还是显卡版本？

您是问什么？trt是需要显卡有tensor core的版本

欢迎光临飞扬围棋 (http://bbs.flygo.net/Bbs/)