[ST][MF][codellama_34b][910B 4p]网络推理精度异常

name	about	labels
Bug Report	Use this template for reporting a bug	kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

codellama_34b网络在910B环境上推理，推理精度异常
模型仓地址：https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/codellama.md

Environment / 环境信息 (Mandatory / 必填)

Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend

Software Environment / 软件环境 (Mandatory / 必填):
-- MindSpore version (e.g., 1.7.0.Bxxx) :
-- Python version (e.g., Python 3.7.5) :
-- OS platform and distribution (e.g., Linux Ubuntu 16.04):
-- GCC/Compiler version (if compiled from source):

失败版本：
【CANN版本】：Milan_C18/20240517
【MindSpore版本】：master_B522
【MindFormers版本】：dev分支的，commit babf7ed

成功版本：
ms：master_0513_9c3cf20b

Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode pynative
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

用例仓地址：MindFormers_Test/cases/codellama/34b/infer
用例：
test_mf_codellama_34b_batch_4_infer_910_4p_0001.py
test_mf_codellama_34b_incremental_infer_910_4p_0001.py

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

get code from mindformers
cd mindformers/scripts
bash scripts/msrun_launcher.sh './predict_custom.py --yaml_file ./configs/codellama/predict_codellama_34b_910b.yaml --checkpoint_path /home/workspace/large_model_ckpt//codellama/34b/rank_0/llama2_34b.ckpt --batch_size 4 --use_past True'
验证网络推理结果是否达标

Describe the expected behavior / 预期结果 (Mandatory / 必填)

推理结果达标

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

2024-05-22 17:13:33,514 - mindformers[mindformers/generation/text_generator.py:882] - INFO - total time: 149.5478069782257 s; generated tokens: 2012 tokens; generate speed: 13.45389170630198 tokens/s
2024-05-22 17:13:33,521 - mindformers[mindformers/modules/block_tables.py:129] - INFO - Clear block table cache engines.
WARNING:root:<s> def add(a, b):
<unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk><unk>

Special notes for this issue/备注 (Optional / 选填)

走给倪钰鑫

Please assign maintainer to check this issue.
请为此issue分配处理人。
@zhangjie18

感谢您的提问，您可以评论//mindspore-assistant更快获取帮助：

如果您刚刚接触MindSpore，或许您可以在教程找到答案
如果您是资深Pytorch用户，您或许需要：

如果您遇到动态图问题，可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
模型精度调优问题可参考官网调优指南
如果您反馈的是框架BUG，请确认您在ISSUE中提供了MindSpore版本、使用的后端类型（CPU、GPU、Ascend）、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
如果您已经定位出问题根因，欢迎提交PR参与MindSpore开源社区，我们会尽快review

根因：导入权重为完整时确实代码逻辑。导致权重导入失败。
解决方案：增加完整权重导入逻辑
r2.3： !69702:Deal with the precision problem when loading complete ckpt and parameter need to be split in inference scene.
master： !69763:Deal with the precision problem when loading complete ckpt and parameter need to be split in inference scene.

回归版本：【CANN版本】：Milan_C18/20240522
【MindSpore版本】：master_20240525200557_13fef1e8ffa0
【MindFormers版本】：dev_20240521202240_babf7ed140df1c7b5f4268d5b3
回归步骤：参考issue步骤
基本问题：已解决
输入图片说明
测试结论：回归通过
回归时间：2024.5.27

GVP MindSpore / mindspore

内容风险标识