书生大模型训练营入门岛任务——训练营链接
1. Linux前置知识
任务:端口转发
当使用vscode远程连接服务器时,在服务器运行的任务,vscode会自动帮忙进行端口映射,方便本地进行访问。
2. Python前置知识
任务1:Leecode 383
任务2:Debug
不同按钮分别表示不同继续方式:
- continue: 继续运行到下一个断点。
- step over: 单步跳过,可以理解为运行当前行代码,不进入具体的函数或者方法。
- step into: 单步进入。如果当前行代码存在函数调用,则进入该函数内部。如果当前行代码没有函数调用,则等价于step over。
- step out: 单步退出函数,返回到调用该函数的上一层代码。
- restart: 重新启动调试。
- stop: 终止调试。
通过对断点右键,我们可以设置更高阶的选项,例如表达式i==5
时候才进入断点,或者命中次数,命中次数输入5,那么会在第五次执行这行代码的时候进入断点。
3. Git前置知识
git经典四部曲:
- 添(add)
– git add <文件名>
– 作用:将修改过的文件添加到本地暂存区 - 提(commit)
– git commit -m ‘描述信息’
– 将暂存区中的更改提交到本地仓库,正式将更改记录下来。 - 拉(pull)
– git pull
– 从远程仓库拉取最新的内容到本地仓库。 - 推(push)
– git push
– 将本地仓库推送到远程仓库。
4. 玩转HF/魔搭/魔乐社区
4.1 HuggingFace下载模型
点击use this model可以看到使用模型的脚本,这里只下载其中的几个文件。
通过脚本下载配置json和模型json:
import os
from huggingface_hub import hf_hub_download# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"# 指定要下载的文件列表
files_to_download = [{"filename": "config.json"},{"filename": "model.safetensors.index.json"}
]# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)# 遍历文件列表并下载每个文件
for file_info in files_to_download:file_path = hf_hub_download(repo_id=repo_id,filename=file_info["filename"],local_dir=local_dir)print(f"{file_info['filename']} file downloaded to: {file_path}")
4.2 SPACE创建与内容上传
首先先安装git lfs,确保大文件能够上传
git lfs install
然后需要配置token,才能登录HF。
点击头像,创建一个new space即可,记得选择Static
创建好后,就和github的操作一样,可以克隆,修改和上传修改。
克隆下来后,修改后重新提交,即可修改
git add .
git commit -m "update: colearn page"
git push
如果报错:remote: Password authentication in git is no longer supported. You must use a user access token or an SSH key instead.
请再次设置这个项目的验证,这个地方需要用户的Access Tokens(具体获取方式见下文 “2.1.5 模型上传”)
git remote set-url origin https://<user_name>:@huggingface.co/<repo_path>
例如:
git remote set-url origin https://jack:hf_xxxxx@huggingface.co/spaces/jack/intern_cobuild/
然后再次git push即可
提交后,就可以看到远程的Space已经更新了
4.3 模型上传
首先创建一个仓库,并且拉取到本地
huggingface-cli repo create intern_study_L0_4git clone https://huggingface.co/{your_github_name}/intern_study_L0_4
然后进入文件夹,进行一些修改,就可以提交修改到HF上了。
cd intern_study_L0_4
git add .
git commit -m "add:intern_study_L0_4"
git push
提交结果: