2.3K Star 8.1K Fork 4.3K

GVPMindSpore / mindspore

 / 详情

cpu及npu静态图下,网络训练loss可以正常计算,但是梯度一直为0,无法优化。

TODO
Bug-Report
创建于  
2024-04-17 21:46
name about labels
Bug Report Use this template for reporting a bug kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

cpu及npu静态图模式下,网络采用value_and_grad以及trainonestepcell训练时loss可以正常计算,但是梯度均一直为0,且不优化。

Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend/GPU/CPU/kirin/等其他芯片

  • Software Environment / 软件环境 (Mandatory / 必填):
    -- MindSpore version (e.g., 1.7.0.Bxxx) :2.2.1
    -- Python version (e.g., Python 3.7.5) :3.7.16
    -- OS platform and distribution (e.g., Linux Ubuntu 16.04):Linux Ubuntu
    -- GCC/Compiler version (if compiled from source):

  • Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode pynative

Related testcase / 关联用例 (Mandatory / 必填)

代码仓:https://gitee.com/kaiqixu/att2in

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

  1. 下载代码及数据压缩包,
  2. 解压后运行bash train.sh即可。

Describe the expected behavior / 预期结果 (Mandatory / 必填)

可以计算梯度,且正常优化。

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

输入图片说明

Special notes for this issue/备注 (Optional / 选填)

评论 (5)

许铠麒 创建了Bug-Report

Please assign maintainer to check this issue.
请为此issue分配处理人。
@fangwenyi @chengxiaoli @Shawny

感谢您的提问,您可以评论//mindspore-assistant更快获取帮助:

  1. 如果您刚刚接触MindSpore,或许您可以在教程找到答案
  2. 如果您是资深Pytorch用户,您或许需要:
  1. 如果您遇到动态图问题,可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
  2. 模型精度调优问题可参考官网调优指南
  3. 如果您反馈的是框架BUG,请确认您在ISSUE中提供了MindSpore版本、使用的后端类型(CPU、GPU、Ascend)、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
  4. 如果您已经定位出问题根因,欢迎提交PR参与MindSpore开源社区,我们会尽快review
i-robot 添加了
 
www
标签
Shawny 负责人设置为Shawny
Shawny 关联项目设置为MindSpore Issue Assistant
Shawny 计划开始日期设置为2024-04-19
Shawny 计划截止日期设置为2024-05-19

您好,我已经根据网站内容进行调试,所有参数属性均正常,训练参数的requires_grad均等于True,初始化也没有问题,但是所有参数的梯度仍然为0。

建议通过官网教程排查代码:https://www.mindspore.cn/docs/zh-CN/r2.3.0rc1/migration_guide/model_development/gradient.html
或者通过其他官网网络参考写法:https://gitee.com/mindspore/models/tree/master/official

如您发现有疑似bug,可以简化网络后通过unit test或demo方式在评论提交代码,我们会进一步排查

i-robot 添加了
 
gitee
标签

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(3)
8108889 shawny233 1628167362
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore

搜索帮助