MindSpore Transformers套件的目标是构建一个大模型预训练、微调、评测、推理、部署的全流程开发套件,提供业内主流的Transformer类大语言模型(Large Language Models, LLMs)和多模态理解模型(Multimodal Models, MMs)。期望帮助用户轻松地实现大模型全流程开发。
MindSpore Transformers套件基于MindSpore内置的多维混合并行技术和组件化设计,具备如下特点:
欲获取MindSpore Transformers相关使用教程以及API文档,请参阅MindFormers文档,以下提供部分内容的快速跳转链接:
如果您对MindSpore Transformers有任何建议,请通过issue与我们联系,我们将及时处理。
当前MindSpore Transformers全量的模型列表如下:
模型名 | 支持规格 | 模型类型 | 最新支持版本 |
---|---|---|---|
CodeLlama | 34B | 稠密LLM | 1.5.0 |
CogVLM2-Image | 19B | MM | 1.5.0 |
CogVLM2-Video | 13B | MM | 1.5.0 |
DeepSeek-V3 | 671B | 稀疏LLM | 1.5.0 |
DeepSeek-V2 | 236B | 稀疏LLM | 1.5.0 |
DeepSeek-Coder-V1.5 | 7B | 稠密LLM | 1.5.0 |
DeepSeek-Coder | 33B | 稠密LLM | 1.5.0 |
GLM4 | 9B | 稠密LLM | 1.5.0 |
GLM3-32K | 6B | 稠密LLM | 1.5.0 |
GLM3 | 6B | 稠密LLM | 1.5.0 |
InternLM2 | 7B/20B | 稠密LLM | 1.5.0 |
Llama3.2 | 3B | 稠密LLM | 1.5.0 |
Llama3.2-Vision | 11B | MM | 1.5.0 |
Llama3.1 | 8B/70B | 稠密LLM | 1.5.0 |
Llama3 | 8B/70B | 稠密LLM | 1.5.0 |
Llama2 | 7B/13B/70B | 稠密LLM | 1.5.0 |
Mixtral | 8x7B | 稀疏LLM | 1.5.0 |
Qwen2.5 | 0.5B/1.5B/7B/14B/32B/72B | 稠密LLM | 1.5.0 |
Qwen2 | 0.5B/1.5B/7B/57B/57B-A14B/72B | 稠密/稀疏LLM | 1.5.0 |
Qwen1.5 | 7B/14B/72B | 稠密LLM | 1.5.0 |
Qwen-VL | 9.6B | MM | 1.5.0 |
TeleChat2 | 7B/35B/112B | 稠密LLM | 1.5.0 |
TeleChat | 7B/12B/52B | 稠密LLM | 1.5.0 |
Whisper | 1.5B | MM | 1.5.0 |
Yi | 6B/34B | 稠密LLM | 1.5.0 |
YiZhao | 12B | 稠密LLM | 1.5.0 |
Baichuan2 | 7B/13B | 稠密LLM | 1.3.2 |
GLM2 | 6B | 稠密LLM | 1.3.2 |
GPT2 | 124M/13B | 稠密LLM | 1.3.2 |
InternLM | 7B/20B | 稠密LLM | 1.3.2 |
Qwen | 7B/14B | 稠密LLM | 1.3.2 |
CodeGeex2 | 6B | 稠密LLM | 1.1.0 |
WizardCoder | 15B | 稠密LLM | 1.1.0 |
Baichuan | 7B/13B | 稠密LLM | 1.0 |
Blip2 | 8.1B | MM | 1.0 |
Bloom | 560M/7.1B/65B/176B | 稠密LLM | 1.0 |
Clip | 149M/428M | MM | 1.0 |
CodeGeex | 13B | 稠密LLM | 1.0 |
GLM | 6B | 稠密LLM | 1.0 |
iFlytekSpark | 13B | 稠密LLM | 1.0 |
Llama | 7B/13B | 稠密LLM | 1.0 |
MAE | 86M | MM | 1.0 |
Mengzi3 | 13B | 稠密LLM | 1.0 |
PanguAlpha | 2.6B/13B | 稠密LLM | 1.0 |
SAM | 91M/308M/636M | MM | 1.0 |
Skywork | 13B | 稠密LLM | 1.0 |
Swin | 88M | MM | 1.0 |
T5 | 14M/60M | 稠密LLM | 1.0 |
VisualGLM | 6B | MM | 1.0 |
Ziya | 13B | 稠密LLM | 1.0 |
Bert | 4M/110M | 稠密LLM | 0.8 |
当前支持的硬件为Atlas 800T A2训练服务器。
当前套件建议使用的Python版本为3.11.4。
MindFormers | MindSpore | CANN | 固件与驱动 | 镜像链接 |
---|---|---|---|---|
1.5.0 | 2.6.0 | 8.1.RC1 | 25.0.RC1 | 即将发布 |
历史版本配套关系:
MindFormers | MindSpore | CANN | 固件与驱动 | 镜像链接 |
---|---|---|---|---|
1.3.2 | 2.4.10 | 8.0.0 | 24.1.0 | Link |
1.3.0 | 2.4.0 | 8.0.RC3.beta1 | 24.1.RC3 | Link |
1.2.0 | 2.3.0 | 8.0.RC2.beta1 | 24.1.RC2 | Link |
MindFormers目前支持源码编译安装,用户可以执行如下命令进行安装。
git clone -v 1.5.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh
MindFormers支持模型启动预训练、微调、推理、评测等功能,可点击模型列表中模型名称查看文档完成上述任务,以下为模型分布式启动方式的说明与示例。
MindFormers推荐使用分布式方式拉起模型训练、推理等功能,目前提供scripts/msrun_launcher.sh
分布式启动脚本作为模型的主要启动方式,msrun
特性说明可以参考msrun启动。
该脚本主要输入参数说明如下:
参数 | 单机是否必选 | 多机是否必选 | 默认值 | 说明 |
---|---|---|---|---|
WORKER_NUM | ✓ | ✓ | 8 | 所有节点中使用计算卡的总数 |
LOCAL_WORKER | - | ✓ | 8 | 当前节点中使用计算卡的数量 |
MASTER_ADDR | - | ✓ | 127.0.0.1 | 指定分布式启动主节点的ip |
MASTER_PORT | - | ✓ | 8118 | 指定分布式启动绑定的端口号 |
NODE_RANK | - | ✓ | 0 | 指定当前节点的rank id |
LOG_DIR | - | ✓ | output/msrun_log | 日志输出路径,若不存在则递归创建 |
JOIN | - | ✓ | False | 是否等待所有分布式进程退出 |
CLUSTER_TIME_OUT | - | ✓ | 7200 | 分布式启动的等待时间,单位为秒 |
注:如果需要指定
device_id
启动,可以设置环境变量ASCEND_RT_VISIBLE_DEVICES
,如要配置使用2、3卡则输入export ASCEND_RT_VISIBLE_DEVICES=2,3
。
# 1. 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}"
# 2. 单机多卡快速启动方式,仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" WORKER_NUM
# 3. 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT
使用示例
# 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune"
# 单机多卡快速启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune" 8
# 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune" \
8 8118 output/msrun_log False 300
多机多卡执行脚本进行分布式训练需要分别在不同节点运行脚本,并将参数MASTER_ADDR设置为主节点的ip地址, 所有节点设置的ip地址相同,不同节点之间仅参数NODE_RANK不同。
# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT
使用示例
# 节点0,节点ip为192.168.1.1,作为主节点,总共8卡且每个节点4卡
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
8 4 192.168.1.1 8118 0 output/msrun_log False 300
# 节点1,节点ip为192.168.1.2,节点0与节点1启动命令仅参数NODE_RANK不同
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
8 4 192.168.1.1 8118 1 output/msrun_log False 300
MindFormers提供run_mindformer.py
脚本作为单卡启动方法,该脚本可以根据模型配置文件,完成支持模型的单卡训练、微调、评估、推理流程。
# 运行run_mindformer.py的入参会覆盖模型配置文件中的参数
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}
MindFormers版本有以下五个维护阶段:
状态 | 期限 | 说明 |
---|---|---|
计划 | 1-3 个月 | 规划功能。 |
开发 | 3 个月 | 构建功能。 |
维护 | 6-12 个月 | 合入所有已解决的问题并发布新版本,对于不同版本的MindFormers,实施差异化的维护计划:标准版维护期为6个月,而长期支持版则为12个月。 |
无维护 | 0-3 个月 | 合入所有已解决的问题,没有专职维护团队,且不计划发布新版本。 |
生命周期终止(EOL) | N/A | 分支进行封闭,不再接受任何修改。 |
MindFormers已发布版本维护策略:
MindFormers版本 | 对应标签 | 维护策略 | 当前状态 | 发布时间 | 后续状态 | EOL日期 |
---|---|---|---|---|---|---|
1.5.0 | v1.5.0 | 常规版本 | 维护 | 2024/04/20 | 预计2025/10/20起无维护 | |
1.3.2 | v1.3.2 | 常规版本 | 维护 | 2024/12/20 | 预计2025/06/20起无维护 | |
1.2.0 | v1.2.0 | 常规版本 | 无维护 | 2024/07/12 | 预计2025/07/12生命周期终止 | 2025/07/12 |
1.1.0 | v1.1.0 | 常规版本 | 无维护 | 2024/04/15 | 预计2025/01/15生命周期终止 | 2025/01/15 |
scripts/examples
目录下的内容是作为参考示例提供的,并不构成商业发布产品的一部分,仅供用户参考。如需使用,需要用户自行负责将其转化为适合商业用途的产品,并确保进行安全防护,对于由此产生的安全问题,MindSpore不承担安全责任。欢迎参与社区贡献,可参考MindFormers贡献指南。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
1. 开源生态
2. 协作、人、软件
3. 评估模型