要在开机时进入指定的 conda 环境并启动此 vllm 服务，您可以通过以下步骤设置一个 systemd 服务来自动执行脚本。

步骤 1：创建一个启动脚本

首先，创建一个启动脚本，以便在进入 conda 环境后启动 vllm 服务。

1. 打开终端并创建启动脚本，例如 /home/username/start_vllm.sh（请替换 username 为实际用户名）：

   nano /home/username/start_vllm.sh
   

2. 在文件中添加以下内容，将 conda_env_name 替换为您的 conda 环境的名称：

   #!/bin/bash
   # 加载 conda 环境
   source ~/anaconda3/etc/profile.d/conda.sh
   conda activate conda_env_name# 启动 vllm 服务
   CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 vllm serve "defog/sqlcoder-70b-alpha" \--tensor-parallel-size 8 \--gpu-memory-utilization 0.9 \--max-model-len 4096 \--cpu-offload-gb 0 \--swap-space 8
   

3. 保存文件并退出编辑器（Ctrl+X 然后按 Y 再回车）。

4. 使脚本可执行：

   chmod +x /home/username/start_vllm.sh
   

步骤 2：创建一个 systemd 服务

1. 创建 systemd 服务文件，例如 /etc/systemd/system/vllm.service：

   sudo nano /etc/systemd/system/vllm.service
   

2. 在服务文件中添加以下内容，将 username 替换为您的实际用户名：

   [Unit]
   Description=VLLM Service for SQLCoder Model
   After=network.target[Service]
   Type=simple
   User=username
   WorkingDirectory=/home/username
   ExecStart=/bin/bash /home/username/start_vllm.sh
   Restart=always[Install]
   WantedBy=multi-user.target
   

3. 保存文件并退出。

步骤 3：启动并启用服务

1. 重新加载 systemd 服务：

   sudo systemctl daemon-reload
   

2. 启动服务以测试：

   sudo systemctl start vllm.service
   

3. 启用服务以便开机启动：

   sudo systemctl enable vllm.service
   

可选：检查服务状态

您可以随时检查服务的状态以确认其是否正常运行：

sudo systemctl status vllm.service

这样一来，每次开机时，系统将自动进入您的 conda 环境并启动 vllm 服务。