晨涧云文档

首页

目录

LLaMA Factory - Ubuntu

操作系统

Linux 22.04.3-Ubuntu x86_64 GNU/Linux

系统镜像选择

需要在晨涧云使用LLaMA-Factory Ubuntu系统,从大算力市场创建系统实例,选择安装的系统实例镜像如下图
image.png#572px #390px
该系统已经安装有LLaMA-Factory 以及 Ollama 运行需要的环境
默认安装的工具或软件包括显卡驱动,PyCharm,VS Code,百度网盘,Anaconda,FireFox, Google Chrome 等

系统连接

创建实例之后,在控制台可以看到,实例系统在创建中,一般需要5分钟左右,等待实例状态变成运行中,就可以开始连接并使用该系统
Ubuntu系统默认提供以下两种连接使用方式

一、SSH连接

所有支持SSH协议的工具或者命令行,都可以通过SSH连接系统,包括Terminal、shell 、VS Code 、Pycharm、ftp、sftp等,只要是支持SSH谢谢等工具都可以连接
滚动到实例显示连接方式的列,点开SSH可以看到连接信息如下图
image.png#446px #256px

二、图形界面

晨涧云默认提供WebUI,就是用浏览器使用Ubuntu操作系统用户界面,由于各种原因,专业的远程连接软件(ToDesk、向日葵、AnyDesk、连连控)等不能预先安装,用户需要通过WebUI 先登入系统,再安装任一远程连接软件

访问LLaMA-Factory

系统创建好后,可通过浏览器访问LLaMA-Factory界面。

  1. 查看访问地址,默认监听到内网8000端口,可通过8000对应的外网端口访问,外网端口请看下图

image.png#729px #245px

点击预留端口打开端口映射,如下图,获取内网8000的外网端口

image.png

  1. 控制台上查看机器IP,该IP是就是外网IP,在浏览器通过 “http://IP:外网端口” 访问服务,假如你的机器内网8000端口映射的外网端口为38190(这个外网端口是示例,实际映射端口,请看控制台,预留端口),则访问地址如下所示

    http://外网IP:38190

模型下载

默认的HuggingFace模型下载存储在 /home/linux/.cache/huggingface 目录

数据集下载

数据集可以通过HuggingFace下载,或者github命令下载,下载到 /home/linux/LLaMA-Factory/data 目录,并修改dataset_info.json 就可以使用

训练的产出和日志

如下图所示,安装目录和启动目录是 /home/linux/LLaMA-Factory, webUi启动的训练,日志和产出都在这个目录里
webui训练日志文件是 llama-factory-webui.log
训练过程如果想在命令行看日志,可以在此目录下输入如下命令

tail -f llama-factory-webui.log

训练过程的产出和结果,包括checkpoints, 都位于LLaMA-Factory目录里面的outputs
image.png#784px #566px