使用OneAPI+Ollama+Dify搭建一个兼容OpenAI的API发布及AI应用开发系统(二)客户端设置

这一编我们介绍Ollama客户端的设置,那么客户端在这里指的就是你放在家里的Ollama服务器,通过与VPS里安装的OneAPI配合,从而实现了为Ollama生成API访问的服务,并为后端服务器提供安全保障。

一:安装客户端软件

客户端软件的部署请大家自行查找,为使项目可以完成,这里就不再介绍了。

二:客户端安装Ollama

Ollama的安装请参考:

在ubuntu24.04上安装Ollama并设置跨域访问_乌班图执 ollama-CSDN博客

三:在服务器端安装OneAPI

1、OneAPI的安装请参考:

使用OneAPI创建LLM访问API Key-CSDN博客

2、OneAPI使用本地数据库请参考:

Flowise+OneAPI+Ollama搭建本地知识库问答_oneapi ollama-CSDN博客

3、安装Nginx,并为OneAPI设置https访问,请参考以下文件:

使用Nginx反向代理为OneAPI配置https访问-CSDN博客

4、OneAPI的设置关键点

渠道设置时,请将IP写为你设置的客户端VPN分配的IP。

http://10.8.0.2:11434

5、放通防火墙

这里需要放通的有一处:

(1)UFW

sudo ufw allow 11434/tcp

(2)虚拟主机VPS提供商处提供的防火墙无需放通,因为11434端口通过VPN隧道过去了。这也说明了VPN的安全性。

6、生成LLM的访问令牌

复制令牌就可以用啦。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1552806.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

【Linux】进程优先级、调度、命令行参数:从理论到实践(二)

🌈 个人主页:Zfox_ 🔥 系列专栏:Linux 目录 🚀 前言一: 🔥 进程优先级 🍵 基本概念🍵 查看系统进程🍵 PRI and NI🍵 PRI vs NI🍵 用to…

【数据管理】数据脱敏解决方案(word原件)

1 概述 1.1 数据脱敏定义 1.2 数据脱敏原则 1.2.1基本原则 1.2.2技术原则 1.2.3管理原则 1.3 数据脱敏常用方法 3.1.1泛化技术 3.1.2抑制技术 3.1.3扰乱技术 3.1.4有损技术 1.4 数据脱敏全生命周期 2 制定数据脱敏规程 3 发现敏感数据 4 定义脱敏规则 5 执…

本科生已不够 AI公司雇佣各领域专家训练大模型

9月29日消息,人工智能模型的性能在很大程度上依赖于其训练数据的质量。传统方法通常是雇用大量低成本劳动力对图像、文本等数据进行标注,以满足模型训练的基本需求。然而,这种方式容易导致模型在理解和生成信息时出现“幻觉”现象&#xff0c…

<<迷雾>> 第5章 从逻辑学到逻辑电路(5)--异或门 示例电路

!ABA!B 的逻辑电路组成 info::操作说明 鼠标单击开关切换开合状态 注: 这个实际就是 异或门, 当两个输入相异时输出高电平, 否则输出低电平 primary::在线交互操作链接 https://cc.xiaogd.net/?startCircuitLinkhttps://book.xiaogd.net/cyjsjdmw-examples/assets/circuit/cyj…

读数据湖仓04数据架构与数据工程

1. 大容量存储器 1.1. 几乎是到最后时刻,大容量存储器才被引入基础数据的基础设施中 1.1.1. 分析人员通常不会直接在大容量存储器中进行数据分析 1.1.2. 大容量存储器在基础数据中扮演的角色也特别重要,它能够在许多方面支持数据分析人员自由灵活地完成…

从零开始搭建UVM平台(七)-加入monitor

书接上回: 从零开始搭建UVM平台(一)-只有uvm_driver的验证平台 从零开始搭建UVM平台(二)-加入factory机制 从零开始搭建UVM平台(三)-加入objection机制 从零开始搭建UVM平台(四&…

Github 2024-10-02C开源项目日报 Top9

根据Github Trendings的统计,今日(2024-10-02统计)共有9个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量C项目9BitBake项目1Netdata: 开源实时监控平台 创建周期:4020 天开发语言:C协议类型:GNU General Public License v3.0Star数量:68982 个For…

JAVA开源项目 周边产品销售网站 计算机毕业设计

本文项目编号 T 061 ,文末自助获取源码 \color{red}{T061,文末自助获取源码} T061,文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 查…

【算法】0/1背包问题

背包中有一些物品,每件物品有它的价值与重量,给定一个重量,在该重量范围内取物品(每件物品不可重复取),求最大价值。 将需求转化为表格,每一行中的每个格子代表可选哪些下标的物品在总重量限额内…

VMware Aria Operations 8.18 发布,新增功能概览

VMware Aria Operations 8.18 - 多云 IT 运维管理 通过统一的高性能平台,实现跨私有云、混合云和多云环境的 IT 运维管理。 请访问原文链接:https://sysin.org/blog/vmware-aria-operations/,查看最新版。原创作品,转载请保留出…

营业执照显示经营异常怎么回事

经营异常是怎么回事?是什么意思?首先,我们要明确什么是公司经营异常。简单来说,就是公司在经营过程中出现了一些问题,导致公司无法正常运营。这些问题可能包括未按规定报送年度报告、未按规定公示有关信息等。那么&…

资源《Arduino 扩展板1-LED灯》说明。

资源链接:Arduino 扩展板1-LED灯 1.文件明细: 2.文件内容说明 包含:AD工程、原理图、PCB。 3.内容展示 4.简述 该文件为PCB工程,采用AD做的。 该文件打板后配合Arduino使用,属于Arduino的扩展板。 该文件主要有…

Vue 路由设置

为了防止遗忘,记录一下用Vue写前端配置路由时的过程,方便后续再需要用到时回忆。 一、举个例子 假如需要实现这样的界面逻辑: 在HomePage中有一组选项卡按钮用于导航到子页面,而子页面Page1中有一个按钮,其响应事件是…

C++继承的三种方式[ACCESS]

C继承的定义 两个类的继承关系在派生类中声明,派生类定义使用以下语法: class DerivedClass: [ACCESS] BaseClass{ /…/ }; 冒号(:)后的[ACCESS]是继承的最高权限级别符,可以是以下三个值(存取权限级别&am…

业务封装与映射 -- ODUflex

ODUflex,即灵活速率光数字单元,带宽范围1.25G~100G。目前ITU-T G.709定义了两种形式的ODUflex,基于固定比特速率业务的ODUflex (CBR)和基于包业务的ODUflex (GFP)。 ODUflex特点 高效承载 提供灵活可变的速率适应机制。用户可根据业务大小&…

5. 常用开源数据集快速导入Linux服务器(AutoDL)——深度学习·科研实践·从0到1

目录 1. 查找公开数据 2. 解压到自己的数据盘中 3. 解压常用指令 1. 查找公开数据 参考文档:AutoDL帮助文档-公开数据查找和导入 AutoDL提供了部分常用开源数据,供咱在实例中进行使用,免去下载上传的烦恼(直接解压到咱的服务…

OpenAi FunctionCalling 案例详解

源码详细讲解 pdf 及教学视频下载链接:点击这里下载 FunctionCalling的单一函数调用 天气预报查询(今天长沙的天气如何?) import json import requests from openai import OpenAIclient OpenAI()location "长沙"…

鸿蒙开发知识点速记全解

入门 1、API涵盖应用框架、系统、媒体、图形、应用服务、AI六大领域。 应用框架相关Kit开放能力:Ability Kit(程序框架服务)、ArkUI(方舟UI框架)等。系统相关Kit开放能力:Universal Keystore Kit&#xf…

24-10-1-读书笔记(二十一)-《契诃夫文集》(四)下([俄] 契诃夫 [译] 汝龙) 我爱你,娜坚卡。

文章目录 《契诃夫文集》(四)下([俄] 契诃夫 [译] 汝龙 )目录阅读笔记记录总结 《契诃夫文集》(四)下([俄] 契诃夫 [译] 汝龙 ) 十月第一篇,放假了,挺高兴的&…

四、I/O控制方式

1.程序直接控制方式 完成一次读/写的过程 CPU千预频率 每次I/O的数据传输单位 数据流向 优缺点 CPU发出I/0命令后需要不断轮询 极高 字 设备→CPU→内存 内存→CPU→设备 优点:实现简单。在读/写指令之后,加上实现循环检查的一系列指令即可(因此才称为“程…