Ubuntu 20.04配置ollama并下载安装调用本地大语言模型
- ollama 介绍(来自ChatGPT)
- 主要特点
- ollama开发环境预配置
- ollama在ubuntu下的安装
- 直接安装
- 压缩包安装
- 创建开机ollama的脚本
- 启动ollama
- ollama在ubuntu下的运行
ollama 介绍(来自ChatGPT)
Ollama 是一种新的本地语言模型管理与运行平台，旨在帮助用户在本地环境中运行和管理大型语言模型（LLMs），例如 LLaMA、GPT 等。与传统基于云的解决方案不同，Ollama 专注于在用户本地系统上运行这些模型，以提高数据隐私性和响应速度。
主要特点
- 本地运行：Ollama 允许用户在本地设备上运行大语言模型，无需依赖云计算。这有助于在脱机状态下使用，并确保数据不会发送到外部服务器，提升数据隐私。
- 多模型管理：支持同时运行和管理多个语言模型。用户可以轻松切换、更新或扩展模型集合。
- GPU 加速：对于需要高性能的任务，Ollama 支持 GPU 加速，以便提高计算效率和处理速度。它可以与 CUDA 和适当的 GPU 驱动一起使用，以提供最佳的性能表现。
- 简单接口：提供易于使用的命令行界面（CLI），方便用户通过简单的指令运行、管理模型并进行推理。
- 开源和可扩展：Ollama 是开源项目或基于开源技术，用户可以根据自己的需求自定义和扩展其功能。
ollama开发环境预配置
本人在开发的时候事先配置了ubuntu环境下的深度学习环境，包括显卡驱动安装、Cuda安装等安装，可以参考** https://blog.csdn.net/m0_58678659/article/details/122932488 **博客进行学习，注意显卡驱动和Cuda还有cudnn的版本适配
ollama在ubuntu下的安装
直接安装
直接访问ollama的官网https://ollama.com/，点击download，一共有三个图标，中间是linux，将该指令放到终端中运行:
curl -fsSL https://ollama.com/install.sh | sh
这条指令大概率是不行，采用科学上网下载也不能成功，国内的网络基本上别想了
压缩包安装
访问连接https://github.com/ollama/ollama/releases/，根据自己的系统下载对应压缩包，我的是intel的处理器x86架构下载amd64版本
下载完成后在下载目录下打开终端，运行以下指令，就会将该压缩文件夹解压到/use/local目录下面，这里注意的是解压后的文件夹的名字并不是ollama，一个是bin 一个是lib，解压成功后在/usr/local中打开bin和lib文件夹会出现ollama相关的文件
sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local
这代表解压成功了，之后在该终端中输入，就会输出安装的版本信息代表安装成功了，如果是第一次安装大概率出来的消息会比图里面多几句话，什么could not这种，这是因为没有创建开机的脚本
ollama -v
创建开机ollama的脚本
先赋予执行权限，我的ollama解压到了**/usr/local**目录下，所以进入到当前目录bin中，先赋予执行权限，运行以下指令
sudo chmod +x /usr/local/bin/ollama
执行完成之后为ollama创建用户
sudo useradd -r -s /bin/false -m -d /usr/local/bin/ollama ollama
创建一个在 /etc/systemd/system/中的ollama.service的service文件，首先在终端中输入
sudo gedit /etc/systemd/system/ollama.service
之后在该文件中输入以下代码部分
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3[Install]
WantedBy=default.target
创建完成之后启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
启动ollama
在终端中输入，开启服务，然后会输出以下部分代码，这里会有一个http://127.0.0.1:11434，如果你是第一次打开大概率跟我下面界面是不一样的，需要进行一部操作，把该连接连接到IP地址服务器上，其实就是本地服务器
ollama serve
打开**~/.bashrc**文件，输入以下指令，在最后一行添加以下代码
sudo gedit ~/.bashrc
添加之后进行保存
export OLLAMA_HOST=http://127.0.0.1:11434
之后打开浏览器输入http://127.0.0.1:11434，会出现，代表之前的配置安装没有问题
ollama在ubuntu下的运行
先在终端打开ollama serve开启服务，之后输入以下代码，这里如果本地没有安装该模型，会自动进行下载，一定要科学上网
ollama run llama3.2-vision
安装完成之后并输入问题就有以下提示，代表可以进行本地调用
