TMElyralab

/

lyraChatGLM

like 108

@zangao docker永远能够解决问题，但我十分理解很多同学想要在native environment跑模型. 环境比较复杂这里的引导也不是很完善，我们抓紧时间完善一下

@zangao docker永远能够解决问题，但我十分理解很多同学想要在native environment跑模型. 环境比较复杂这里的引导也不是很完善，我们抓紧时间完善一下

cuda的版本一定是要12以上的版本吗？能否适配cuda11的版本呢

@zangao 我们已经更新了新的加速版本，移除了之前 TensorRT 的加速版本。 新的加速版本在源码级做了较多优化，性能，易用性和显卡适配性都更好。可尽管试用下新的。详情见 README

@zangao 我们已经更新了新的加速版本，移除了之前 TensorRT 的加速版本。 新的加速版本在源码级做了较多优化，性能，易用性和显卡适配性都更好。可尽管试用下新的。详情见 README

大佬，我也是报的这个错cuda 11.x 用的最新的模型

我们之前没特别留意 cuda11.x 的运行时问题，后续会尽快在 cuda11.x 的基础上做下测试，以确保运行。

我们之前没特别留意 cuda11.x 的运行时问题，后续会尽快在 cuda11.x 的基础上做下测试，以确保运行。

这个有最新的进展吗？

请问现在可以使用CUDA11.X来使用了吗？我也是遇到了libcudart.so.12: cnnot open shared object file的问题，但是cuda环境暂时不能升级

@obtion @betterme Hi，我们这边进行了一波优化，现在已经可以支持CUDA 11.X 版本了，这边还是建议在docker镜像的环境下运行，详情可以查看下readme

@zangao cuda 11.x 也支持了哈

@zangao cuda 11.x 也支持了哈

昨天尝试了一下，使用官方推荐的镜像，根据步骤安装依赖之后，能在cuda 11.x上运行，感谢！