ChatGLM3Loader执行时发生错误 Library cudart is not initialized。文章《Chatglm3部署踩坑记录》里提到是因为没有安装 CUDA Toolkit 引起。下面内容来自deepseek关于NVIDIA驱动、CUDA Toolkit版本以及ComfyUI的依赖关系以下是关键点解析1.nvidia-smi与nvcc -V的区别nvidia-smi显示的CUDA版本12.8表示当前GPU驱动支持的最高CUDA Toolkit版本。这是驱动层的能力上限但不意味着系统已安装此版本的CUDA Toolkit。驱动向下兼容例如支持12.8的驱动可以运行12.x的所有CUDA程序。nvcc -V显示的CUDA版本12.4表示当前系统中实际安装的CUDA Toolkit版本即编译器版本。这是开发环境实际使用的版本决定了代码编译时的兼容性。2.ComfyUI依赖的CUDA版本ComfyUI的运行主要依赖于以下两个组件PyTorch的CUDA版本PyTorch预编译版本会绑定特定的CUDA Toolkit如PyTorch 2.3.0可能对应CUDA 12.1。通过以下命令查看PyTorch实际使用的CUDA版本bash复制python -c import torch; print(torch.version.cuda)若输出为12.1则即使系统安装了CUDA 12.4PyTorch仍会使用其内置的12.1版本。系统CUDA Toolkit版本nvcc -V仅在以下情况相关需要从源码编译PyTorch或其他CUDA扩展。使用依赖nvcc的第三方库如自定义CUDA算子。3.版本兼容性建议驱动版本 ≥ CUDA Toolkit要求确保GPU驱动版本满足PyTorch或CUDA Toolkit的最低要求例如CUDA 12.4要求驱动≥535.86.01。PyTorch与CUDA Toolkit解耦通常情况下PyTorch的预编译版本无需系统安装完整CUDA Toolkit即可运行因其自带必要的CUDA动态库。实测版本不一致能运行。版本不一致应该会影响编译module。4.解决版本冲突的步骤确认PyTorch的CUDA版本python -c import torch; print(torch.__version__); print(torch.version.cuda)检查驱动兼容性访问 NVIDIA驱动文档 确认驱动版本是否支持PyTorch所需的CUDA版本。必要时更新PyTorch或CUDA Toolkit# 安装指定CUDA版本的PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121总结ComfyUI的CUDA依赖以PyTorch版本为准与nvcc -V的关联仅限于源码编译场景。只要驱动版本足够≥12.8支持所有12.xPyTorch可独立运行无需强制对齐系统CUDA Toolkit版本。建议优先通过PyTorch的预编译版本管理CUDA依赖避免因手动安装多版本CUDA Toolkit导致环境冲突。1、用 nvidia-smi.exe 命令查看显卡当前驱动程序版本用 nvcc -V 命令查看2、NVIDIA CUDA 工具包发行说明每个 CUDA 工具包版本中打包的开发 NVIDIA GPU 驱动程序的版本如下所示。可以根据上表要求安装更新的驱动程序3、从 CUDA Toolkit 存档 下载想要安装的版本选择与所安装的Pytorch 相同的cuda版本不玩游戏也不需要自动更新驱动所以不安装 Geforce Experience 安装驱动是需要的CUDA Visual Studio IntegrationNo supported version of Visual Studio was found. Some components of theCUDA Toolkit will not work properly. Please install ivisual Studid first to get the fullfunctionality.Installed:- Nsight MonitorNot Installed:- Nsight for Visual Studio 2022Reason: VS2022 was not found- Nsight for Visual Studio 2019Reason: VS2019 was not found- Nsight for Visual Studio 2017Reason: VS2017 was not found- Integrated Graphics Frame Debugger and ProfilerReason: see https://developer.nvidia.com/nsight-vstools- Integrated CUDA ProfilersReason: see https://developer.nvidia.com/nsight-vstools安装 CUDA Toolkit 后ChatGLM3Loader加载运行正常。后来运行InstantID Face Analysis时出错如下onnxruntime::python::CreateExecutionProviderInstance CUDA_PATH is set but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page (https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements), make sure theyre in the PATH, and that your GPU is supported.根据错误信息中提供的网址https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.htmlCUDA 执行提供程序要求发现我还得将 CUDA Toolkit 降回 11.8 。所以安装CUDA Toolkit 12.4.0版本是合适的。安装ORTpython.exe -m pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/查看cuDNN版本 在Windows系统中可以进入CUDA的安装目录查看文件例如C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\include\cudnn.hNVIDIA cuDNN -- 参考文献 支持产品cuDNN 8.9 安装指南NVIDIA cuDNN 主页----》下载 cuDNN 文库----》以前版本的存档有些cuDNN版本在上面的图形下载界面并不提供需要从官方 Tarball 仓库下载。 使用 Tarball 压缩包官方推荐这是官方为高级用户提供的安装方式虽然需要手动操作但能确保你获得最新的 9.27.0 版本。访问官方 Tarball 仓库直接打开 NVIDIA 的 cuDNN 文件下载服务器地址https://developer.download.nvidia.com/compute/cudnn/redist/cudnn/windows-x86_64/下载对应版本在这个目录中寻找名称类似cudnn-windows-x86_64-9.27.0.x-archive.zip的文件进行下载。手动安装解压下载的 ZIP 文件然后按照官方文档的指引将文件复制到 cuDNN 的安装目录v9.x中x为具体版本号如9.27.0.42 【官方文档有说明】将bin\cudnn*.dll复制到C:\Program Files\NVIDIA\CUDNN\v9.x\bin将include\cudnn*.h复制到C:\Program Files\NVIDIA\CUDNN\v9.x\include将lib\x64\cudnn*.lib复制到C:\Program Files\NVIDIA\CUDNN\v9.x\lib请将v9.x替换为你实际使用的目录名双击运行选精简安装会连适用cuda11.8的cuDNN也安装了而是我不需要的所以选择自定义安装从上面也发现安装目录是 C:\Program Files\NVIDIA\CUDNN\v9.1从这里也可以知道自己目前安装的是什么版本而不是网上搜索到的到什么CUDA的目录去查看cuDNN版本C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin。发现安装了2个版本查看已经安装的包 .\python_embeded\python.exe -m pip list 
长河君 · 2026/10/21 2:55:30 · 阅读 1.2k ONNX Runtime、CUDA Toolkit 、cuDNN、驱动的安装
ChatGLM3Loader执行时发生错误 Library cudart is not initialized。文章《Chatglm3部署踩坑记录》里提到是因为没有安装 CUDA Toolkit 引起。下面内容来自deepseek关于NVIDIA驱动、CUDA Toolkit版本以及ComfyUI的依赖关系以下是关键点解析1.nvidia-smi与nvcc -V的区别nvidia-smi显示的CUDA版本12.8表示当前GPU驱动支持的最高CUDA Toolkit版本。这是驱动层的能力上限但不意味着系统已安装此版本的CUDA Toolkit。驱动向下兼容例如支持12.8的驱动可以运行12.x的所有CUDA程序。nvcc -V显示的CUDA版本12.4表示当前系统中实际安装的CUDA Toolkit版本即编译器版本。这是开发环境实际使用的版本决定了代码编译时的兼容性。2.ComfyUI依赖的CUDA版本ComfyUI的运行主要依赖于以下两个组件PyTorch的CUDA版本PyTorch预编译版本会绑定特定的CUDA Toolkit如PyTorch 2.3.0可能对应CUDA 12.1。通过以下命令查看PyTorch实际使用的CUDA版本bash复制python -c import torch; print(torch.version.cuda)若输出为12.1则即使系统安装了CUDA 12.4PyTorch仍会使用其内置的12.1版本。系统CUDA Toolkit版本nvcc -V仅在以下情况相关需要从源码编译PyTorch或其他CUDA扩展。使用依赖nvcc的第三方库如自定义CUDA算子。3.版本兼容性建议驱动版本 ≥ CUDA Toolkit要求确保GPU驱动版本满足PyTorch或CUDA Toolkit的最低要求例如CUDA 12.4要求驱动≥535.86.01。PyTorch与CUDA Toolkit解耦通常情况下PyTorch的预编译版本无需系统安装完整CUDA Toolkit即可运行因其自带必要的CUDA动态库。实测版本不一致能运行。版本不一致应该会影响编译module。4.解决版本冲突的步骤确认PyTorch的CUDA版本python -c import torch; print(torch.__version__); print(torch.version.cuda)检查驱动兼容性访问 NVIDIA驱动文档 确认驱动版本是否支持PyTorch所需的CUDA版本。必要时更新PyTorch或CUDA Toolkit# 安装指定CUDA版本的PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121总结ComfyUI的CUDA依赖以PyTorch版本为准与nvcc -V的关联仅限于源码编译场景。只要驱动版本足够≥12.8支持所有12.xPyTorch可独立运行无需强制对齐系统CUDA Toolkit版本。建议优先通过PyTorch的预编译版本管理CUDA依赖避免因手动安装多版本CUDA Toolkit导致环境冲突。1、用 nvidia-smi.exe 命令查看显卡当前驱动程序版本用 nvcc -V 命令查看2、NVIDIA CUDA 工具包发行说明每个 CUDA 工具包版本中打包的开发 NVIDIA GPU 驱动程序的版本如下所示。可以根据上表要求安装更新的驱动程序3、从 CUDA Toolkit 存档 下载想要安装的版本选择与所安装的Pytorch 相同的cuda版本不玩游戏也不需要自动更新驱动所以不安装 Geforce Experience 安装驱动是需要的CUDA Visual Studio IntegrationNo supported version of Visual Studio was found. Some components of theCUDA Toolkit will not work properly. Please install ivisual Studid first to get the fullfunctionality.Installed:- Nsight MonitorNot Installed:- Nsight for Visual Studio 2022Reason: VS2022 was not found- Nsight for Visual Studio 2019Reason: VS2019 was not found- Nsight for Visual Studio 2017Reason: VS2017 was not found- Integrated Graphics Frame Debugger and ProfilerReason: see https://developer.nvidia.com/nsight-vstools- Integrated CUDA ProfilersReason: see https://developer.nvidia.com/nsight-vstools安装 CUDA Toolkit 后ChatGLM3Loader加载运行正常。后来运行InstantID Face Analysis时出错如下onnxruntime::python::CreateExecutionProviderInstance CUDA_PATH is set but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page (https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements), make sure theyre in the PATH, and that your GPU is supported.根据错误信息中提供的网址https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.htmlCUDA 执行提供程序要求发现我还得将 CUDA Toolkit 降回 11.8 。所以安装CUDA Toolkit 12.4.0版本是合适的。安装ORTpython.exe -m pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/查看cuDNN版本 在Windows系统中可以进入CUDA的安装目录查看文件例如C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\include\cudnn.hNVIDIA cuDNN -- 参考文献 支持产品cuDNN 8.9 安装指南NVIDIA cuDNN 主页----》下载 cuDNN 文库----》以前版本的存档有些cuDNN版本在上面的图形下载界面并不提供需要从官方 Tarball 仓库下载。 使用 Tarball 压缩包官方推荐这是官方为高级用户提供的安装方式虽然需要手动操作但能确保你获得最新的 9.27.0 版本。访问官方 Tarball 仓库直接打开 NVIDIA 的 cuDNN 文件下载服务器地址https://developer.download.nvidia.com/compute/cudnn/redist/cudnn/windows-x86_64/下载对应版本在这个目录中寻找名称类似cudnn-windows-x86_64-9.27.0.x-archive.zip的文件进行下载。手动安装解压下载的 ZIP 文件然后按照官方文档的指引将文件复制到 cuDNN 的安装目录v9.x中x为具体版本号如9.27.0.42 【官方文档有说明】将bin\cudnn*.dll复制到C:\Program Files\NVIDIA\CUDNN\v9.x\bin将include\cudnn*.h复制到C:\Program Files\NVIDIA\CUDNN\v9.x\include将lib\x64\cudnn*.lib复制到C:\Program Files\NVIDIA\CUDNN\v9.x\lib请将v9.x替换为你实际使用的目录名双击运行选精简安装会连适用cuda11.8的cuDNN也安装了而是我不需要的所以选择自定义安装从上面也发现安装目录是 C:\Program Files\NVIDIA\CUDNN\v9.1从这里也可以知道自己目前安装的是什么版本而不是网上搜索到的到什么CUDA的目录去查看cuDNN版本C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin。发现安装了2个版本查看已经安装的包 .\python_embeded\python.exe -m pip list