MorningAI

首页

目录

【模型】Ollama + Open WebUI

Ollama环境

  • Ollama 0.9.6, Open WebUI, Ubuntu 22.04

  • Anaconda,Pytorch 2.5,Cuda 12.4,cuDNN 9.0,Python 3.11

  • PyCharm,VSCode,百度网盘

访问OpenWebUI

系统创建好后可通过OpenWebUI访问进行操作

  • 查看访问地址，默认监听到内网8000端口，可通过8000对应的外网端口访问
    image.png#567px #237px

  • 控制台上查看IP，预留端口

http://外网IP:381xx

image.png#497px #313px

默认用户名: admin@mornai.cn
密码: admin
注：可登录后修改、添加用户名密码

登陆后可以选择对话模型如下图，需要更多模型可以下载使用
image.png#503px #277px

访问Ollama API

Ollama API 默认监听到内网8001端口，可通过8001对应的外网端口访问

  • 控制台上查看IP以及8001对应的外网端口

    http://外网IP:381xx

下载模型

  • 查看官方模型列表

  • SSH登录服务器通过命令行Pull模型

    ollama pull xxx

  • OpenWebUI中可选择以pull的模型

查看模型

WebUi可以通过页面左上角查看，命令行通过执行 ollama list 查看
image.png#573px #157px

运行模型

命令行输入一下命令运行模型，我们通过上一步查看有模型 llama3.1:8b，就可以通过 ollama run llama3.1:8b 去运行模型

ollama run xxx

运行需要等待加载完成，就可以进行对话了
image.png#733px #224px

Open WebUI API