文章目录
- 关于 Chinese-LLaMA-Alpaca
- 一、LLaMA模型 --> HF格式
- 二、合并LoRA权重，生成全量模型权重
- 方式1：单LoRA权重合并
- 方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus ）
- 三、使用 Transformers 进行推理
- 四、使用 webui 搭建界面
- 1、克隆text-generation-webui并安装必要的依赖
- 2、将下载后的lora权重放到loras文件夹下
- 3、将 HuggingFace 格式的 llama-7B 模型文件放到 models 文件夹下
- 4、复制 lora 权重的 tokenizer 到 mode
