99 Star 800 Fork 1.4K

MindSpore / models

 / 详情

【众智】【昇腾网络】【GMA】GMA模型迁移后性能差距较大

ACCEPTED
Bug-Report
创建于  
2022-12-07 16:50
name about labels
Bug Report Use this template for reporting a bug kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

GMA模型迁移到mindspore框架之后,性能差距较大。pytorch源码在GPU上的性能为0.3ms/step, 但是mindspore的性能仅为34032ms/step,暂未找到问题来源。

Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment(Ascend) / 硬件环境: Ascend 910

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend 等其他芯片

  • Software Environment / 软件环境:
    -- MindSpore version: 1.9.0
    -- Python version: 3.7.5
    -- OS platform and distribution (e.g., Linux Ubuntu 16.04):

  • Excute Mode / 执行模式:

Please delete the mode not involved / 请删除不涉及的模式:
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

  1. GMA模型的pytorch实现代码链接:https://github.com/zacjiang/GMA
  2. 在Ascend 910环境下运行Graph模式训练,单卡或者多卡分布式都可以。具体训练过程可基于mindspore的pr链接中的readme进行复现。

Describe the expected behavior / 预期结果 (Mandatory / 必填)

GMA模型在mindspore的性能与pytorch一致,或者更高

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

pytorch的GMA模型单step运行时间如下所示:
输入图片说明
对于mindspore的GMA模型,使用Profiling工具对训练性能的分析结果如下:
算子耗时统计排名:
输入图片说明

ReduceSum算子详细信息:
输入图片说明

各个阶段耗时情况:
输入图片说明

Special notes for this issue/备注 (Optional / 选填)

评论 (2)

刘子豪 创建了Bug-Report

Please assign maintainer to check this issue.
请为此issue分配处理人。
@fangwenyi @chengxiaoli

Please add labels (comp or sig), also you can visit https://gitee.com/mindspore/community/blob/master/sigs/dx/docs/labels.md to find more.
为了让代码尽快被审核,请您为Pull Request打上 组件(comp)或兴趣组(sig) 标签,打上标签的PR可直接推送给责任人进行审核。
更多的标签可以查看https://gitee.com/mindspore/community/blob/master/sigs/dx/docs/labels.md
以组件相关代码提交为例,如果你提交的是data组件代码,你可以这样评论:
//comp/data
当然你也可以邀请data SIG组来审核代码,可以这样写:
//sig/data
另外你还可以给这个PR标记类型,例如是bugfix或者是特性需求:
//kind/bug or //kind/feature
恭喜你,你已经学会了使用命令来打标签,接下来就在下面的评论里打上标签吧!

刘子豪 修改了描述
刘子豪 修改了标题
fangwenyi 任务状态TODO 修改为ACCEPTED
fangwenyi 负责人设置为oacjiewen

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(2)
1
https://gitee.com/mindspore/models.git
git@gitee.com:mindspore/models.git
mindspore
models
models

搜索帮助

344bd9b3 5694891 D2dac590 5694891