晨涧云文档

首页

目录

Ollama 容器镜像

镜像包括：Ollama及OpenWebUI

云容器控制台使用：控制台使用

云容器JupyterLab使用：JupyterLab使用

选择镜像

创建实例时，选择【Ollama】镜像：
image.png

当前支持的版本

Ollama版本Ubuntu版本CUDA版本Python版本
0.12.322.0412.43.10

当前支持的版本会随着Ollama版本的更新而更新。

使用

访问OpenWebUI

系统创建好后可通过OpenWebUI访问进行操作
step1. 查看IP
step2. 查看端口
step3. 访问地址，默认监听到内网8001端口，可通过控制台查看8001对应的外网端口访问

http://外网IP:381xx

image.png#497px #313px

设置电子邮箱，以及密码。

登陆后可以选择对话模型如下图，需要更多模型可以下载使用
image.png#503px #277px

访问OpenWebui API

下载模型

  • 查看官方模型列表

  • SSH登录服务器通过命令行Pull模型

    ollama pull xxx

  • OpenWebUI中可选择以pull的模型

查看模型

WebUi可以通过页面左上角查看，命令行通过执行 ollama list 查看
image.png#573px #157px

运行模型

命令行输入一下命令运行模型，我们通过上一步查看有模型 llama3.1:8b，就可以通过 ollama run llama3.1:8b 去运行模型

ollama run xxx

运行需要等待加载完成，就可以进行对话了
image.png#733px #224px

配置环境变量

Ollama 的环境变量可以在文件 /.mornai/tools/pkg/ollama/ollama_env.sh 配置：

#!/bin/bash

export OLLAMA_HOST="0.0.0.0:8002"
export OLLAMA_SCHED_SPREAD="1"
export OLLAMA_KEEP_ALIVE="1h"
export OLLAMA_MODELS="/data/ollama/models"

修改或者新增环境变量后重新启动Ollama服务使环境变量生效。

启停服务

如果修改或者新增了环境变量，或者因为一些其他原因需要启停Ollama服务，可以进行如下操作：

使用 mornctl.sh 脚本

mornctl.sh ollama {start|stop|restart|status|enable|disable}

  • start: 启动服务

  • stop: 停止服务

  • restart: 重启服务

  • status: 查看服务状态

  • enable: 服务开机自启动

  • disable: 取消服务开机启动