外观
Ollama 容器镜像
镜像包括：Ollama及OpenWebUI
云容器控制台使用：控制台使用
云容器JupyterLab使用：JupyterLab使用
选择镜像
创建实例时，选择【Ollama】镜像：
当前支持的版本
| Ollama版本 | Ubuntu版本 | CUDA版本 | Python版本 |
|---|---|---|---|
| 0.12.3 | 22.04 | 12.4 | 3.10 |
当前支持的版本会随着Ollama版本的更新而更新。
使用
TIP
上传及使用过程产生的数据建议放到数据盘（/data 目录），数据盘支持扩容。
访问OpenWebUI
系统创建好后可通过OpenWebUI访问进行操作
- step1. 查看IP
- step2. 查看端口
- step3. 访问地址，默认监听到内网8001端口，可通过控制台查看
8001对应的外网端口访问
http://外网IP:381xx
设置电子邮箱，以及密码。
登陆后可以选择对话模型如下图，需要更多模型可以下载使用 
访问OpenWebui API
- 创建API KEY，在Open WebUI设置中创建API KEY
- 参考API文档
下载模型
查看官方模型列表
SSH登录服务器通过命令行Pull模型
bashollama pull xxxOpenWebUI中可选择以pull的模型
查看模型
WebUi可以通过页面左上角查看，命令行通过执行 ollama list 查看
运行模型
命令行输入一下命令运行模型，我们通过上一步查看有模型 llama3.1:8b，就可以通过 ollama run llama3.1:8b 去运行模型
bash
ollama run xxx运行需要等待加载完成，就可以进行对话了
配置环境变量
Ollama 的环境变量可以在文件 /.mornai/tools/pkg/ollama/ollama_env.sh 配置：
bash
#!/bin/bash
export OLLAMA_HOST="0.0.0.0:8002"
export OLLAMA_SCHED_SPREAD="1"
export OLLAMA_KEEP_ALIVE="1h"
export OLLAMA_MODELS="/data/ollama/models"修改或者新增环境变量后重新启动Ollama服务使环境变量生效。
启停服务
如果修改或者新增了环境变量，或者因为一些其他原因需要启停Ollama服务，可以进行如下操作：
使用 mornctl.sh 脚本
bash
mornctl.sh ollama {start|stop|restart|status|enable|disable}- start: 启动服务
- stop: 停止服务
- restart: 重启服务
- status: 查看服务状态
- enable: 服务开机自启动
- disable: 取消服务开机启动