晨涧云文档

首页

目录

大语言模型场景

晨涧云AI算力平台提供大语言模型(LLM)场景下各类框架和工具,包括模型训练、推理、微调等。

云主机和云容器支持Ollama、LLaMA-Factory、vLLM等多个LLM相关的镜像,同时提供了Web UI的服务支持,在启动实例之后可以直接访问Web UI的界面进行操作。

相关镜像预置了常见的模型可以直接使用,如Ollama镜像预置了Ollama常见的大语言模型,vLLM预置了 HuggingFace 的常用大模型,无需下载直接部署。

同时还提供从 HuggingFace 等网站快速下载模型的工具或脚本支持,方便用户使用。