MorningAI

首页

目录

LLaMA-Factory

访问LLaMA-Factory

系统创建好后可通过LLaMA-Factory WebUI访问进行操作

  • 查看访问地址,默认监听到内网8000端口,可通过8000对应的外网端口访问
    image.png#509px #229px

  • 控制台上查看IP

  • 访问服务

    http://外网IP:38xxx

    Snipaste_2025-03-08_21-38-15.png#1210px #672px

如何使用LLaMA-Factory进行模型微调

  1. 准备模型
    克隆我们要微调的模型到本地,然后将在web UI界面填入我们的模型名称和本地的模型地址

    git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

  2. 准备数据集
    LLaMA-Factory项目内置了丰富的数据集,统一存储于data目录下。
    如果你想基于自己的数据集微调,你需要
    (1)将你的数据集也放到data目录下
    注意:你需要将你的数据集改为一样的格式,具体可参考data下内置数据集的格式
    (2)修改data下的dataset_info.json文件,添加如下内容:
    其中my_data.json是自己的数据集文件,my_data是对应的数据集文件名

    "my_data": {
        "file_name": "my_data.json"
      },

  3. 微调
    在LLaMA-Factory Web页面,设置微调参数,如图所示:
    微信图片_20250329234731.png#1175px #534px
    微信图片_20250329234725.png#1173px #511px
    参数设置后,点击开始,启动微调:
    微信图片_20250329234717.png#1172px #496px
    训练过程中,会出现下述界面:
    左下角会显示训练进度,右边会出现训练过程中损失变化的一个可视化
    Snipaste_2025-03-29_23-52-24.png#1171px #221px

  4. 与微调之后的模型对话
    54a0a5cca1433b7a5ffe4139d2e198da.png#1169px #641px

参考文档推荐

# 硬核教程!如何用LLaMA-Factory快速开发出自己的第一个大模型