1 Star 0 Fork 0

ApulisPlatform / nni_example

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

NNI示例

English Doc

介绍

  • NNI (Neural Network Intelligence) 是一个工具包,可有效的帮助用户设计并调优机器学习模型的神经网络架构,复杂系统的参数(如超参)等。

  • 本项目提供NNI针对不同框架的使用示例,如tensorflow,pytorch,mindspore等, 你可以参考这些示例来创建自己的训练。

目录

  • mnist-ms:mindspore示例

  • mnist-pytorch:pytorch示例

  • mnist-tfv1:tensorflow 1.x版本示例

  • mnist-tfv2:tensorflow 2.x版本示例

基本使用

你可以使用以下的指令简单地运行一个训练:

nnictl create -c config.yml -p 40000

或者使用nnictl -h来获取更多使用指引。

搜索空间

在 NNI 中,Tuner 会根据搜索空间来取样生成参数和网络架构。搜索空间通过JSON文件来定义。

搜索空间示例如下:

{
    "dropout_rate": {"_type": "uniform", "_value": [0.1, 0.5]},
    "conv_size": {"_type": "choice", "_value": [2, 3, 5, 7]},
    "hidden_size": {"_type": "choice", "_value": [124, 512, 1024]},
    "batch_size": {"_type": "choice", "_value": [50, 250, 500]},
    "learning_rate": {"_type": "uniform", "_value": [0.0001, 0.1]}
}

关于搜索空间的更多信息,请参考NNI搜索空间

配置

本项目使用不同的文件后缀来区分不同的设备,比如CPU使用config-cpu.ymlGPU使用config-gpu.ymlNPU使用config-npu.yml

nnictl create -c config-cpu.yml -p 40000 # using CPU
nnictl create -c config-gpu.yml -p 40000 # using GPU
nnictl create -c config-npu.yml -p 40000 # using NPU

关于配置的更多信息,请参考NNI配置

注意: 由于需要支持NPU, 我们移除了原有的gpuNum字段,并添加了以下几个配置字段:

# 设备类型是一个可选字段,系统默认会使用集群中拥有的设备作为设备类型
# 如果集群中拥有多种设备(如GPU + NPU),则必须指定一种设备类型,否则,系统会默认使用集群第一个安装的设备
# 设备类型的值可能是nvidia_gpu_amd64,huawei_npu_arm64,可以在平台创建训练的页面中获得设备类型的值
deviceType: huawei_npu_arm64

# 使用设备的数量
deviceNum: 1

# 如果你需要使用NPU进行训练,必须提供框架类型,当前支持的框架有tensorflow,pytorch和mindspore
# 如果你不需要使用NPU,请指定框架类型为none
frameworkType: mindspore

Web界面

NNI提供了实验管理Web界面, 你可以通过如http://localhost:40000 http://127.0.0.1:40000 等链接来访问Web界面

依瞳平台中, 你可能需要使用可交互端口来访问Web界面

空文件

简介

取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/apulisplatform/nni_example.git
git@gitee.com:apulisplatform/nni_example.git
apulisplatform
nni_example
nni_example
master

搜索帮助

344bd9b3 5694891 D2dac590 5694891