吾名爱妃，性好静亦好动。好编程，常沉浸于代码之世界，思维纵横，力求逻辑之严密，算法之精妙。亦爱篮球，驰骋球场，尽享挥洒汗水之乐。且喜跑步，尤钟马拉松，长途奔袭，考验耐力与毅力，每有所进，心甚喜之。
吾以为，编程似布阵，算法如谋略，需精心筹谋，方可成就佳作。篮球乃团队之艺，协作共进，方显力量。跑步与马拉松，乃磨炼身心之途，愈挫愈勇，方能达至远方。愿交志同道合之友，共探此诸般妙趣。诸君，此文尚佳，望点赞收藏，谢之！
关于大模型的微调（Fine-tune）
用一个简单的比喻解释微调的概念。想象你是一个小朋友，你的父亲教你打乒乓球。首先，父亲会给你展示基础的击球方式，让你学习如何把握住球拍、如何看准球、如何打出球，这就像大模型语言的预训练阶段。在这个阶段，你学习了打乒乓球的基本规则的技巧。但是，当你准备参加学校的乒乓球比赛时，你需要一些特殊的训练来提高技巧，比如学习如何更好的发球、如何更好的接对方的球，这就是微调阶段。这个阶段能帮助你更好的适应乒乓球比赛的规则，提高你的比赛成绩。最后，你的教练会观察你在训练中的表现，看看你的发球和接球技巧是否有所提高，这就像评估和调整阶段。如果你在某些方面表现得不好，你的教练可能会调整训练方式，帮助你改进。微调就像是参加乒乓球比赛前的特殊训练，能帮助你从一个会打乒乓球的小朋友，变成一个可以在比赛中赢得胜利的小选手。
那么，是否需要非常高的门槛才可以完成会大模型的微调呢？很幸运的是，微调通过调用api就可以完成。如果你想对GPT模型进行微调，你只需要准备好微调所需的训练数据，例如问题和对应的回答，然后将其整理成专用的JSON格式文件，并发送到微调API即可。等待一段时间之后，你就可以获得一个专属的、微调后的GPT模型。
{"text": "Q: 中国的首都是哪里? A: 北京"}
{"text": "Q: 鲁迅是哪国的著名作家? A: 中国"}
{"text": "Q: 《红楼梦》的作者是谁? A: 曹雪芹"}这种方式使得微调过程更加简单和方便，使更多的人能够从中受益。同时，使用API进行微调也提供了灵活性，可以根据具体需求进行自定义微调，以获得更好的模型性能。需要注意的是，在微调过程中，要确保使用高质量的训练数据并进行适当的参数调整，这是非常重要的，这样可以提高微调模型的质量和效果。
什么场景下适用模型微调
-
需要采用特定的风格、语调
-
需要处理复杂的任务
-
需要提高输出的可靠性
-
难以通过 Prompt 说明的新任务
-
微调可以帮助模型更好地适应新的领域
通过训练使模型学习大量的样本数据，从而取得比prompt更好的效果。一方面，您不需要在prompt中提供大量的few-shots示例，能够有效节省成本；另一方面，由于训练的样本数量远多于prompt所能提供的样本数量，因此能取得比prompt调优更好的推理结果。
模型微调的步骤
-
准备并上传训练数据
-
训练一个新的微调模型
-
部署模型进行推理
-
评估结果，如有需要返回到步骤1
使用智谱AI 最新的ChatGLM-4进行模型微调
1. 到智谱AI 开放平台 （https://open.bigmodel.cn/）使用手机号快速进行注册，新用户注册并实名后可享500万tokens免费体验。本机只要有大于8G的GPU，是可以运行ChatGLM3-6B 在 4-bit 量化下的大模型，但是微调是无法在本机运行的，只有使用各大模型厂商提供的开放平台。
2. 获取对应的API KEY
3. 使用SDK 用Python来实现模型 API 的微调
① 安装SDK，python 版本推荐3.10 - 3.11
pip install zhipuai>=2.0.1② 验证是否可以调用chatGLM4的API成功
from zhipuai import ZhipuAIclient = ZhipuAI(api_key="your api key")response = client.chat.completions.create(model="glm-4",messages=[{"role": "user","content": "你好！你叫什么名字"}],top_p=0.7,temperature=0.9,stream=False,max_tokens=2000,
)print(response.choices[0].message.content)运行及运行结果：
python finetune.py
你好！我是一个人工智能助手，名叫智谱清言。我是基于智谱AI公司在2023年训练的ChatGLM模型开发的，很高兴为您提供帮助。有什么问题可以随时问我。
③ 准备训练数据
微调训练数据通常由一批包含输入和期望输出的数据构成，每条训练数据由单个输入（Prompt）以及对应的期望输出组成。目前仅支持以 json 格式的文件上传训练数据。通常情况下，提供更多的高质量训练数据，微调效果越好。反之，如果训练数据中存在问题、瑕疵，将对微调效果产生一定的负面影响。
新版数据示例（仅 chatglm3-6b 支持该版本数据，目前仅支持通过api接口上传）
按示例中的格式准备数据集，json 格式，每行一条，存储到文件中（train-file.jsonl）并调用文件管理接口上传文件：
{"messages": [{"role": "system", "content": "你是一位乐于助人，知识渊博的全能AI助手。"},{"role": "user", "content": "请介绍一下AlphaGo的基本原理。"}, {"role": "assistant", "content": "AlphaGo利用深度神经网络与树搜索算法相结合,通过对弈数据进行训练,逐步提升游戏水平,能够对围棋局面进行判断并选择最佳落子位置。"}]}
{"messages": [{"role": "system", "content": "你是一位乐于助人，知识渊博的全能AI助手。"},{"role": "user", "content": "请列举一些健康饮食的重要原则。"}, {"role": "assistant", "content": "健康饮食的重要原则包括:膳食应营养均衡,合理摄入各种营养素;多吃新鲜蔬果,适量饮水;少吃糖、油、盐,忌吃过量快餐;养成规律生活作息习惯,适量运动。"}]}
{"messages": [{"role": "system", "content": "你是一位乐于助人，知识渊博的全能AI助手。"},{"role": "user", "content": "请给出一些改善睡眠质量的建议。"}, {"role": "assistant", "content": "改善睡眠质量的建议包括:保证睡眠时间,避免睡眠不足;睡前放松身心,远离刺激;养成规律作息时间,不要频繁熬夜;适量运动,但不要运动过度;睡前可以喝一杯热牛奶等温和饮料。"}]}
④ 上传训练数据
from zhipuai import ZhipuAI
client = ZhipuAI(api_key="your api key")
result = client.files.create(file=open("<path-to-file.jsonl>", "rb"),
purpose="fine-tune")print(result.id)注意：需要找联系客服开放文件上传权限，否则会报错
Error code: 434, with error text {"error":{"code":"1623","message":"没有上传文件权限，请联系客服开放"}}
上传成功后，获取上传的文件ID
from zhipuai import ZhipuAIclient = ZhipuAI(api_key="") # 请填写您自己的APIKeyclient.files.list()获取到对应的文件ID后，上传训练数据成功
⑤ 创建微调任务
from zhipuai import ZhipuAIclient = ZhipuAI(api_key="") # 请填写您自己的APIKeyjob = client.fine_tuning.jobs.create(model="chatglm3-6b",training_file="file-xxx", # 请填写已成功上传的文件idvalidation_file="file-yyy", # 请填写已成功上传的文件idsuffix="<self-defined>",)job_id = job.idprint(job_id)如果返回了对应的job_id,即代表创建微调任务成功
同时也可以通过一下方法查询当前微调任务的状态
from zhipuai import ZhipuAIclient = ZhipuAI(api_key="") # 请填写您自己的APIKeyclient.fine_tuning.jobs.list()使用微调后的模型
参考模型调用接口，并替换成要调用的微调模型的 model_key，即微调任务详情接口中返回的fine_tuned_model。
from zhipuai import ZhipuAIclient = ZhipuAI(api_key="your api key")response = client.chat.completions.create(model="<fine_tuned_model>", #即微调任务详情接口中返回的fine_tuned_modelmessages=[{"role": "user","content": "请介绍一下AlphaGo的基本原理。"}],top_p=0.7,temperature=0.9,stream=False,max_tokens=2000,
)print(response.choices[0].message.content)ZhipuAI将调用微调后的新模型回答用户的提问。
