name | about | labels |
---|---|---|
Bug Report | Use this template for reporting a bug | kind/bug |
[r2.3][qwen_7b/14b][910B3 8P]网络训练失败,ValueError: Can't find class type optimizer class name AdamWeightDecayX in class registry
模型仓地址:https://gitee.com/mindspore/mindformers/blob/dev/research/qwen/qwen.md
Ascend
/GPU
/CPU
) / 硬件环境:Please delete the backend not involved / 请删除不涉及的后端:
/device ascend/
CANN版本:MILAN-Florence-ASL/ABL V100R001C17SPC001B240 Alpha
Mindspore版本:MindSpore_r2.3_d51c17c7(MindSporeDaily)
MindFormers版本:MindFormers_dev_a4fc9e6d(MindFormersDaily)
PyNative
/Graph
):Please delete the mode not involved / 请删除不涉及的模式:
/mode graph
用例仓地址:MindFormers_Test/cases/qwen/14b/train/
用例:
test_mf_qwen_7b_infer_batch_incremental_1p_0001
test_mf_qwen_14b_infer_alpaca_batch_incremental_1p_0001
网络训推理成功,编译时间达标,性能达标
2024-04-17 23:06:50,784 - mindformers[mindformers/generation/text_generator.py:664] - WARNING - When do_sample is set to False, top_k will be set to 1 and top_p will be set to 0, making them inactive.
2024-04-17 23:06:50,784 - mindformers[mindformers/generation/text_generator.py:668] - INFO - Generation Config is: {'max_length': 128, 'max_new_tokens': None, 'min_length': 0, 'min_new_tokens': None, 'num_beams': 1, 'do_sample': False, 'use_past': False, 'temperature': 1.0, 'top_k': 0, 'top_p': 1.0, 'repetition_penalty': 1, 'encoder_repetition_penalty': 1.0, 'renormalize_logits': False, 'pad_token_id': 151643, 'bos_token_id': 1, 'eos_token_id': 151643, '_from_model_config': True}
2024-04-17 23:06:50,785 - mindformers[mindformers/generation/text_generator.py:223] - INFO - The generation mode will be **GREEDY_SEARCH**.
2024-04-17 23:11:26,349 - mindformers[mindformers/generation/text_generator.py:847] - INFO - total time: 275.56379413604736 s; generated tokens: 1743 tokens; generate speed: 6.325214114084491 tokens/s
走给李洋
Please assign maintainer to check this issue.
请为此issue分配处理人。
@sunjiawei999
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
感谢您的提问,您可以评论//mindspore-assistant更快获取帮助:
可以调整测试脚本,根据测试用例中的seq_length修改yaml中的seq_length
qwen7B、14B长序列特性配置文件默认给出的seq_length=8k,测试安装默认配置文件里的8192序列长度跑的推理,与先前1024性能有很大差异
Redeme里推理给出的序列长度设置为1024
Relation PR:
https://e.gitee.com/mind_spore/repos/mindspore/mindformers/pulls/2811
Selftest Result:
见pr
Self-test Report & DT Review
是否需要补充ST/UT:否
原因:文档不涉及ST/UT
回归版本:Mf:dev_20240428121529_730fcee31a4fea
MS:master_20240428093621_915305f3f8
回归步骤:参考issue步骤
基本问题:不通过
这个问题单跟踪 # I9IVS6
回归人员:孙佳伟
回归时间:2024-4
登录 后才可以发表评论