【开源实习】MindSpore加载和存储safetensors组件预研

【任务分值】50分
【背景描述】
Hugging Face开发了一种名为Safetensors的新序列化格式，旨在简化和精简大型复杂张量的存储和加载。张量是深度学习中使用的主要数据结构，其大小会给效率带来挑战。

Safetensors结合使用高效的序列化和压缩算法来减少大型张量的大小，使其比pickle等其他序列化格式更快、更高效。这意味着，与传统PyTorch序列化格式pytorch_model.bin和model.safetensors相比，Safetensors在CPU上的速度快76.6倍，在GPU上的速度快2倍。
【需求描述】
实现MindSpore对Safetensors的支持，包括序列化和反序列化
【参考资料】
https://github.com/huggingface/safetensors
【验收标准】
huggingface任意模型的safetensors格式可被MindSpore加载；
MindSpore模型可存为Safetensors
【任务技术要求】
python, c++, MindSpore > 2.2
【任务成果仓库】
mindspore/单独建仓
【导师联系方式】
常老师：changzherui1@huawei.com

Please assign maintainer to check this issue.
请为此issue分配处理人。
@杨宇澄

感谢您的提问，您可以评论//mindspore-assistant更快获取帮助：

如果您刚刚接触MindSpore，或许您可以在教程找到答案
如果您是资深Pytorch用户，您或许需要：

如果您遇到动态图问题，可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
模型精度调优问题可参考官网调优指南
如果您反馈的是框架BUG，请确认您在ISSUE中提供了MindSpore版本、使用的后端类型（CPU、GPU、Ascend）、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
如果您已经定位出问题根因，欢迎提交PR参与MindSpore开源社区，我们会尽快review

/intern-assign

@liuhuijie2024 , 感谢您认领此任务, 请及时跟导师沟通, 导师审核通过后才能承担此任务, 否则任务无效.

/intern-approve

@liuhuijie2024 , 恭喜您已成功领取该任务, 请及时处理任务. 认领任务>导师审核认领资格>处理任务>提交任务>导师审核>pr合入>获得积分.

MindSpore / community

内容风险标识

评论 (6)

MindSpore / community .gitee-modal { width: 500px !important; }

内容风险标识