lobechat调用ollama模型,服务连接失败
1. 启动ollama服务
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ce3281b88186 a67447f85321 "/bin/ollama serve" 40 hours ago Up 40 hours 0.0.0.0:11435->11434/tcp, :::11435->11434/tcp ollama
如果ollama服务中没有可用的模型,需要ollama run加载模型。
2. lobechat无法连接ollama
3. 配置ollama运行跨域访问
由于 Ollama 的默认参数配置,启动时设置了仅本地访问,所以跨域访问以及端口监听需要进行额外的环境变量设置 OLLAMA_ORIGINS。
配置OLLAMA_ORIGINS:
docker run -d --gpus=all -v ollama:/root/.ollama -e OLLAMA_ORIGINS="*" -p 11435:11434 --name ollama ollama/ollama
而不是:
docker run -d --gpus=all -v ollama:/root/.ollama -p 11435:11434 --name ollama ollama/ollama
参考文章:
在 LobeChat 中使用 Ollama · LobeChat Docs · LobeHub