[量化特性] Ascend Transformer Boost集成 · Issue #I927NI · MindSpore/mindformers - Gitee.com

开源项目 > 人工智能 > AI-人工智能 &&

/ 详情

VALIDATION

Question

创建于

2024-02-19 19:01

我们正在使用910B测试大模型的推理性能，目前对int8/int4的量化有需求。

看了下文档，目前mindformers还不支持量化模型的推理。
但是在CANN的文档里看到Ascend Transformer Boost这个推理加速库，是支持int8量化推理的。

想请教下mindformers和Ascend Transformer Boost这个库是什么联系呢，后续会集成相关的量化推理支持吗？

创建了Question

Ascend Transformer Boost是昇腾底层提供的推理加速库；MindFormers是基于MindSpore框架的Transformer套件，是更上一层级的应用；
MindFormers后续会支持量化推理，请持续关注

添加了

mindspore-assistant

标签

将任务状态从 TODO 修改为VALIDATION

此Issue已超过15天无回复，已将Issue关闭。如需继续进行，请将Issue状态置为TODO以重新打开，并在评论中进行回复。

将任务状态从 VALIDATION 修改为DONE

将任务状态从 DONE 修改为VALIDATION

@LEON you can't close an issue unless the issue has link pull requests.

您好，由于问题单没有回复，我们后续会关闭，如您仍有疑问，可以反馈下具体信息，并将ISSUE状态修改为WIP，我们这边会进一步跟踪，谢谢

您好，由于问题单没有回复，我们后续会关闭，如您仍有疑问，可以反馈下具体信息，并将ISSUE状态修改为WIP，我们这边会进一步跟踪，谢谢

您好，由于问题单没有回复，我们后续会关闭，如您仍有疑问，可以反馈下具体信息，并将ISSUE状态修改为WIP，我们这边会进一步跟踪，谢谢

您好，由于问题单没有回复，我们后续会关闭，如您仍有疑问，可以反馈下具体信息，并将ISSUE状态修改为WIP，我们这边会进一步跟踪，谢谢

登录后才可以发表评论

状态

负责人

项目

里程碑

Pull Requests

关联的 Pull Requests 被合并后可能会关闭此 issue

分支

开始日期 - 截止日期

-

置顶选项

优先级

预计工期（小时）

参与者（3）

Python

1

https://gitee.com/mindspore/mindformers.git

git@gitee.com:mindspore/mindformers.git

mindspore

mindformers

mindformers