目录
- SD3+ComfyUI文生图部署步骤
- DAMODEL-ChatGLM-6B 服务端部署
- 1.1、实例创建
- 1.2、模型准备
- 1.3、模型启动
SD3+ComfyUI文生图部署步骤
ChatGLM-6B 是由清华大学和智谱 AI 开源的一款对话语言模型，基于 General Language Model (GLM)架构，具有 62 亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性，已经成为在学术界和工业界引起了广泛关注。
本篇将介绍使用 DAMODEL 深度学习平台部署 ChatGLM-6B 模型，然后通过 Web API 的形式使用本地代码调用服务端的模型进行对话。
DAMODEL-ChatGLM-6B 服务端部署
DAMODEL（丹摩智算）是专为 AI 打造的智算云，致力于提供丰富的算力资源与基础设施助力 AI 应用的开发、训练、部署。
1.1、实例创建
进入创建页面后，首先在实例配置中首先选择付费类型为按量付费，其次选择单卡启动，然后选择需求的 GPU 型号，本次实验可以选择选择：按量付费--GPU 数量 1--NVIDIA-GeForc-RTX-4090，该配置为 60GB 内存，24GB 的显存。
继续往下翻，配置数据硬盘的大小，每个实例默认附带了 50GB 的数据硬盘，本次创建可以就选择默认大小 50GB，可以看到，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，这里选择 PyTorch1.13.1 的框架启动，也可以选择 PyTorch2.1.2 版本启动。
点击创建密钥对，输入自定义的名称，创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！
1.2、模型准备
启动环境后，打开终端，用 git 克隆ChatGLM-6B项目，若遇到github连接超时，可以选择gitcode站点，或者离线下载并上传到项目中。
cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git
# 如果遇见github因为网络问题导致失败，可选择gitcode站点进行下载
# git clone https://gitcode.com/applib/ChatGLM-6B.git
成功克隆项目后，会显示如下文件夹：
cd 进入该文件夹，使用 pip 安装项目依赖：
pip install -r requirements.txt
可以看到 DAMODEL 平台环境依赖的下载安装速度可以达到 18MB/s 以上，非常迅速，等待片刻显示如下 Successfully installed 则说明依赖安装完成！
依赖安装成功后，我们需要引入模型文件，比较方便的是，DAMODEL（丹摩智算）提供了数据上传功能，用户有 20GB 免费存储空间，该空间被挂载到实例的/root/shared-storage目录，跨实例共享。
这里首先点击文件存储，点击上传文件。
然后下载 Hugging Face 上的 ChatGLM-6B 预训练模型，也可以进入魔塔社区选择Chatglm3-6B里的所有文件进行下载。
然后将下载下来的模型文件及配置进行上传并解压，上传时尽量保持该界面首页显示，等待上传成功后再进行其他操作。
1.3、模型启动
上传好预训练模型及解压后，我们就可以去启动 python 脚本运行了，ChatGLM-6B 提供了cli_demo.py和web_demo.pys两个文件来启动模型，第一个是使用命令行进行交互，第二个是使用本机服务器进行网页交互。 由于要使用本地模型启动，所以我们需要把从 Hugging Face Hub 加载改为本地路径加载，打开cli_demo.py和web_demo.py文件，将这两行代码改为从本地文件目录加载预训练模型。
然后在终端输入 pythoncli_demo.py就可以成功启动模型了，在cli_demo.py中，main函数启动一个无限循环，等待用户输入。用户可以输入文本与模型进行对话，或输入"clear"清空对话历史并清除屏幕，或输入"stop"退出程序。对于正常的对话输入。 启动模型后的效果如下图所示：
也可以在终端输入python web_demo.py，通过 Web 界面与模型进行交互。
不过由于 Jupyter 的限制，无法直接打开访问服务器的127.0.0.1:7860网页端交互界面，这里可以利用 MobaXterm 建立 ssh 隧道，实现远程端口到本机端口的转发。首先打开 tunneling，新建 SSH 通道，填入 ssh 的相关配置，并将 7860 通道内容转发到本机，点击 start 开始转发：
转发成功后，就可以成功在网页与模型进行交互了，效果如下：
