同步操作将从 MindSpore/mindformers 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计,具备如下特点:
如果您对MindSpore Transformers有任何建议,请通过issue与我们联系,我们将及时处理。
目前支持的模型列表如下:
模型 | model name |
---|---|
LLama2 | llama2_7b, llama2_13b, llama2_7b_lora, llama2_13b_lora, llama2_70b |
GLM2 | glm2_6b, glm2_6b_lora |
CodeGeex2 | codegeex2_6b |
LLama | llama_7b, llama_13b, llama_7b_lora |
GLM | glm_6b, glm_6b_lora |
Bloom | bloom_560m, bloom_7.1b |
GPT2 | gpt2, gpt2_13b |
PanGuAlpha | pangualpha_2_6_b, pangualpha_13b |
BLIP2 | blip2_stage1_vit_g |
CLIP | clip_vit_b_32, clip_vit_b_16, clip_vit_l_14, clip_vit_l_14@336 |
T5 | t5_small |
sam | sam_vit_b, sam_vit_l, sam_vit_h |
MAE | mae_vit_base_p16 |
VIT | vit_base_p16 |
Swin | swin_base_p4w7 |
skywork | skywork_13b |
Baichuan2 | baichuan2_7b, baichuan2_13b, baichuan2_7b_lora, baichuan2_13b_lora |
Baichuan | baichuan_7b, baichuan_13b |
Qwen | qwen_7b, qwen_14b, qwen_7b_lora, qwen_14b_lora |
Wizardcoder | wizardcoder_15b |
Internlm | internlm_7b, internlm_20b, internlm_7b_lora |
ziya | ziya_13b |
VisualGLM | visualglm |
支持源码编译安装,用户可以执行下述的命令进行包的安装。
git clone -b dev https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh
docker下载命令:
docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers1.0_mindspore2.2.11:aarch_20240125
创建容器:
# --device用于控制指定容器的运行NPU卡号和范围
# -v 用于映射容器外的目录
# --name 用于自定义容器名称
docker run -it -u root \
--ipc=host \
--network host \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /etc/localtime:/etc/localtime \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /var/log/npu/:/usr/slog \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
--name {请手动输入容器名称} \
swr.cn-central-221.ovaijisuan.com/mindformers/mindformers1.0_mindspore2.2.11:aarch_20240125 \
/bin/bash
更多镜像版本请在镜像仓库网中检索获取
当前支持的硬件为Atlas 800训练服务器与Atlas 800T A2训练服务器。
当前套件建议使用的Python版本为3.9。
MindFormers | MindPet | MindSpore | CANN | 驱动固件 | 镜像链接 | 备注 |
---|---|---|---|---|---|---|
dev | 1.0.3 | 2.2.11 | 7.0.0.beta1: aarch64 x86_64 |
链接 | / | 开发分支(非稳定版本) |
r1.0 | 1.0.3 | 2.2.11 | 7.0.0.beta1: aarch64 x86_64 |
链接 | 链接 | 发布版本 |
r0.8 | 1.0.2 | 2.2.1 | 7.0.RC1.3.beta1: aarch64 x86_64 |
链接 | / | 历史发布版本 |
其中CANN,固件驱动的安装需与使用的机器匹配,请注意识别机器型号,选择对应架构的版本
MindFormers套件对外提供两种使用和开发形式,为开发者提供灵活且简洁的使用方式和高阶开发接口。
用户可以直接clone整个仓库,按照以下步骤即可运行套件中已支持的任意configs
模型任务配置文件,方便用户快速进行使用和开发:
准备工作
step1:克隆mindformers仓库。
git clone -b dev https://gitee.com/mindspore/mindformers.git
cd mindformers
step2: 准备相应任务的数据集,请参考docs
目录下各模型的README.md文档准备相应数据集。
step3:修改配置文件configs/{model_name}/run_{model_name}_***.yaml
中数据集路径。
step4:如果要使用分布式训练,则需提前生成RANK_TABLE_FILE。
# 不包含8本身,生成0~7卡的hccl json文件
python mindformers/tools/hccl_tools.py --device_num [0,8)
单卡启动:统一接口启动,根据模型的config配置,完成任意模型的单卡训练、微调、评估、推理流程。
# 训练启动,run_mode支持train、finetune、eval、predict四个关键字,以分别完成模型训练、评估、推理功能,默认使用配置文件中的run_mode
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}
多卡启动:scripts脚本启动,根据模型的config配置,完成任意模型的单卡/多卡训练、微调、评估、推理流程。
# 8卡分布式运行, DEVICE_RANGE = [0,8), 不包含8本身
cd scripts
bash run_distribute.sh RANK_TABLE_FILE CONFIG_PATH DEVICE_RANGE RUN_MODE
使用动态组网方式启动
# 8卡分布式运行
启动前的准备:
1. 使用hostname命令将每台服务器hostname设置为各自的ip: hostname [host ip], 如果在docker内需求设置为docker内部ip,同时保证各个服务器之间docker网络互通
2. 设置环境变量: export SERVER_ID=0; export SERVER_NUM=1; export PER_DEVICE_NUMS=8; export MS_SCHED_HOST=[HOST IP]; export MS_SCHED_PORT=[PORT]
cd scripts
# SERVER_ID为当前服务器序号,SERVER_NUM为服务器的总数,PER_DEVICE_NUMS为每台服务器使用的卡数默认值为8,MS_SCHED_HOST为调度节点的ip,MS_SCHED_PORT为通信端口
bash run_distribute_ps_auto.sh CONFIG_PATH RUN_MODE
常用参数说明
RANK_TABLE_FILE: 由mindformers/tools/hccl_tools.py生成的分布式json文件
CONFIG_PATH: 为configs文件夹下面的{model_name}/run_*.yaml配置文件
DEVICE_ID: 为设备卡,范围为0~7
DEVICE_RANGE: 为单机分布式卡的范围, 如[0,8]为8卡分布式,不包含8本身
RUN_MODE: 为任务运行状态,支持关键字 train\finetune\eval\predict\export
详细高阶API使用教程请参考:MindFormers大模型使用教程
准备工作
step 1:安装mindformers
具体安装请参考第二章。
step2: 准备数据
准备相应任务的数据集,请参考docs
目录下各模型的README.md文档准备相应数据集。
Trainer 快速入门
用户可以通过以上方式安装mindformers库,然后利用Trainer高阶接口执行模型任务的训练、微调、评估、推理功能。
Trainer 训练/微调启动
用户可使用Trainer.train
或者Trainer.finetune
接口完成模型的训练/微调/断点续训。
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers import Trainer
cls_trainer = Trainer(task='image_classification', # 已支持的任务名
model='vit_base_p16', # 已支持的模型名
train_dataset="/data/imageNet-1k/train", # 传入标准的训练数据集路径,默认支持ImageNet数据集格式
eval_dataset="/data/imageNet-1k/val") # 传入标准的评估数据集路径,默认支持ImageNet数据集格式
# Example 1: 开启训练复现流程
cls_trainer.train()
# Example 2: 加载集成的mae权重,开启微调流程
cls_trainer.finetune(finetune_checkpoint='mae_vit_base_p16')
# Example 3: 开启断点续训功能
cls_trainer.train(train_checkpoint=True, resume_training=True)
Trainer 评估启动
用户可使用Trainer.evaluate
接口完成模型的评估流程。
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers import Trainer
cls_trainer = Trainer(task='image_classification', # 已支持的任务名
model='vit_base_p16', # 已支持的模型名
eval_dataset="/data/imageNet-1k/val") # 传入标准的评估数据集路径,默认支持ImageNet数据集格式
# Example 1: 开启评估已集成模型权重的复现流程
cls_trainer.evaluate()
# Example 2: 开启评估训练得到的最后一个权重
cls_trainer.evaluate(eval_checkpoint=True)
# Example 3: 开启评估指定的模型权重
cls_trainer.evaluate(eval_checkpoint='./output/checkpoint/rank_0/mindformers.ckpt')
结果打印示例(已集成的vit_base_p16模型权重评估分数):
Top1 Accuracy=0.8317
Trainer推理启动
用户可使用Trainer.predict
接口完成模型的推理流程。
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers import Trainer
cls_trainer = Trainer(task='image_classification', # 已支持的任务名
model='vit_base_p16') # 已支持的模型名
input_data = './cat.png' # 一张猫的图片
# Example 1: 指定输入的数据完成模型推理
predict_result_d = cls_trainer.predict(input_data=input_data)
# Example 2: 开启推理(自动加载训练得到的最后一个权重)
predict_result_b = cls_trainer.predict(input_data=input_data, predict_checkpoint=True)
# Example 3: 加载指定的权重以完成推理
predict_result_c = cls_trainer.predict(input_data=input_data, predict_checkpoint='./output/checkpoint/rank_0/mindformers.ckpt')
print(predict_result_d)
结果打印示例(已集成的vit_base_p16模型权重推理结果):
{‘label’: 'cat', score: 0.99}
pipeline 快速入门
MindFormers套件为用户提供了已集成模型的pipeline推理接口,方便用户体验大模型推理服务。
pipeline使用样例如下:
# 以gpt2 small为例
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers.pipeline import pipeline
pipeline_task = pipeline(task="text_generation", model="gpt2")
pipeline_result = pipeline_task("An increasing sequence: one,", do_sample=False, max_length=20)
print(pipeline_result)
结果打印示例(已集成的gpt2模型权重推理结果):
[{'text_generation_text': ['An increasing sequence: one, two, three, four, five, six, seven, eight,']}]
AutoClass 快速入门
MindFormers套件为用户提供了高阶AutoClass类,包含AutoConfig、AutoModel、AutoProcessor、AutoTokenizer四类,方便开发者进行调用。
AutoConfig获取已支持的任意模型配置
from mindformers import AutoConfig
# 获取gpt2的模型配置
gpt2_config = AutoConfig.from_pretrained('gpt2')
# 获取vit_base_p16的模型配置
vit_base_p16_config = AutoConfig.from_pretrained('vit_base_p16')
AutoModel获取已支持的网络模型
from mindformers import AutoModel
# 利用from_pretrained功能实现模型的实例化(默认加载对应权重)
gpt2 = AutoModel.from_pretrained('gpt2')
# 利用from_config功能实现模型的实例化(默认加载对应权重)
gpt2_config = AutoConfig.from_pretrained('gpt2')
gpt2 = AutoModel.from_config(gpt2_config)
# 利用save_pretrained功能保存模型对应配置
gpt2.save_pretrained('./gpt2', save_name='gpt2')
AutoProcessor获取已支持的预处理方法
from mindformers import AutoProcessor
# 通过模型名关键字获取对应模型预处理过程(实例化gpt2的预处理过程,通常用于Trainer/pipeline推理入参)
gpt2_processor_a = AutoProcessor.from_pretrained('gpt2')
# 通过yaml文件获取相应的预处理过程
gpt2_processor_b = AutoProcessor.from_pretrained('configs/gpt2/run_gpt2.yaml')
AutoTokenizer获取已支持的tokenizer方法
from mindformers import AutoTokenizer
# 通过模型名关键字获取对应模型预处理过程(实例化gpt2的tokenizer,通常用于Trainer/pipeline推理入参)
gpt2_tokenizer = AutoTokenizer.from_pretrained('gpt2')
欢迎参与社区贡献,可参考MindSpore贡献要求Contributor Wiki。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。