importlib.metadata.PackageNotFoundError: No package metadata was found for The ‘autoawq’ distribution was not found and is required by this application.
To fix: pip install autoawq
其实问题比较简单 直接安装autoawq 即可
但是对应会有版本问题：
查看当前llama factory版本
llamafactory-cli version
torch 版本
import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.backends.cudnn.version())
安装 autoawq 去Git上看大部分都支持CUDA 12.1 选择一个版本安装即可
pip install autoawq==0.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
当前环境报错：
因为autoawq 内置 torch 为2.3.1 所以会与本地torch 2.2.2版本不兼容
直接进行升级即可注意匹配CUDA (当前为12.1)版本
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121
(小编尝试过版本降级，但总有其他依赖报错，进行放弃，升级)
查看安装是否成功：
pip show torch
conda list torch
torch 安装成功！
重新安装autoawq
pip install autoawq==0.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
问题解决！
后记：大模型微调lora与Qlora 区别还是挺大的，Qlora 微调起来相对麻烦一些对应处理依赖也会更多一些！
主要区别总结
适用范围：LoRA 可以应用于任何未量化的模型，而 QLoRA 则专门用于已经量化的模型。
内存占用：QLoRA 通常会比 LoRA 占用更少的内存，因为它可以利用量化带来的内存节省效果。
实现复杂度：QLoRA 的实现可能比 LoRA 更加复杂，因为它需要处理量化模型特有的问题。
性能优化：QLoRA 通过使用 4-bit 量化和可学习的低秩适配器，能够在保持性能的同时显著减少内存使用
