Linux中移动huggingface模型仓库
参考链接
先在bashrc
中配置:
export HF_DATASETS_CACHE="/your/path/dataset"
export HF_HOME="/your/path/"
export HUGGINGFACE_HUB_CACHE="/your/path/hub"
export TRANSFORMERS_CACHE="/your/path/transformers"
路径一定要绝对路径,不要出现
~/
这种,然后source ~/.bashrc
更新
在你下载的模型目录中,输入ll
显示详细信息
可以看到粉色的条目就是映射路径
原先的数据存储在~/.cache/huggingface/hub/models--THUDM--glm-4-9b-chat
现在我希望将glm4-9b-chat
存储在~/ssd2/huggingface/hub
中
mv ~/.cache/huggingface/hub/models--THUDM--glm-4-9b-chat ~/ssd2/huggingface/hub/models--THUDM--glm-4-9b-chat
由于转移了文件,因此需要修改映射
先将原先的映射删除
rm model-00001-of-00010.safetensors
然后加入新的映射路径
ln -s [新的目标文件路径] model-00001-of-00010.safetensors
以上述model-00001-of00010.safetensors
举例
ln -s ~/ssd2/huggingface/hub/models--THUDM--glm-4-9b-chat/blobs/d0040c9cf0d4d0553c4156dbd890437788ba43237037e1f9c4a3c1a3ddfad1f6 model-00001-of-00010.safetensors
我重新创建了新的映射文件到新的模型目录中,然后以此类推操作,将所有模型的权重都重新映射,则可以完全转移模型。