117 Star 808 Fork 460

MindSpore / mindformers

 / 详情

Baichuan2-7B推理性能问题

TODO
Question
创建于  
2024-04-29 15:00

Baichuan2-7B的推理性能测试。
在910A上chat多轮对话单卡推理性能达到27.86 tokens/s,910B上仅约为25.1 tokens/s。
同时910B的多卡测试推理性能反而会比单卡慢。
目前这种情况是正常的吗?

评论 (0)

hsy495675954 创建了Question

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(1)
Python
1
https://gitee.com/mindspore/mindformers.git
git@gitee.com:mindspore/mindformers.git
mindspore
mindformers
mindformers

搜索帮助