1 Star 0 Fork 1

livehome / apulis-model-gallery

forked from ApulisPlatform / model-gallery 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
manifest.yaml 6.04 KB
一键复制 编辑 原始数据 按行查看 历史
wscjxky 提交于 2021-10-18 17:32 . update horovod distributed train
# 选填,默认没有该字段,模型来源的平台,或模型将被使用的平台,用于模型筛选 可选值参考selector.yaml中platform字段
platform:
- AIArts
- DataEyes
# 必填,模型来源,可选值:publish(从代码开发中发布) | preset(系统预置模型) | custom (用户自定义页面上传)
source: preset
# 选填,是否支持autodl,可填值 true,false ,默认值为false
autodl: true
# 选填,模型图片文件相对于manifest.yaml的路径,为空则默认图片,要求大小不超过20M,图片分辨率为800*370,宽高比约为2:1
logo: logo.png
# 选填,是否支持二次开发,默认值为true
redevelop: true
# 选填,模型属性
props:
- key: layers
type: int
value: 12
desc: number of layer
- key: accuracy
type: int
value: 0.97
desc: accuracy
- key: spend_cost
type: int
value: 3000
desc: spend time
#选填,如果平台训练生成的job,则自动填入jobid进行关联
job_id: ''
#必填,命名规则:backbone或者模型名称
name: resnet50
#必填,命名规则:可选值参考selector.yaml中train_framework字段
framework: TensorFlow
#选填,模型框架版本
framework_version: 1.15.0
#选填,分布式框架,如果不支持分布式训练,则去掉该字段,可选值参考selector.yaml中distributed_framework
distributed_framework: Horovod
#选填,网络名
backbone: resnet
#选填,模型描述
description: resnet50-model
#选填,为空时根据framework使用平台预制镜像;填写之后,如果不存在,则需要用户自行上传 tag 为 hashcode
#如果需要用平台中的镜像,需要在镜像名前加井号# 如 #apulistech/tensorflow:2.3
engine: apulistech/tensorflow:{hashcode}
#选填,模型可使用的设备信息,可多填
devices:
#必填,目前可选值  cpu | nvidia_gpu | huawei_npu
- type: huawei_npu
#选填,设备型号,gpu与cpu不需要填写该字段 ,填写该字段则进行型号筛选。多个型号使用逗号分割 目前参考值 | a310 | a910 | 910b | 910pro | 910prob
series: a910,910b,910pro,910prob
#选填,最少使用的设备卡数
device_num: 1
#选填,最少使用的CPU核心数,单位 个
cpu: 1
#选填,最少使用的内存大小,单位 GB
memory: 4
#选填,模型自动验证
verify_command: python train.py --data_path=./testdata --epoch 1
#选填,数据集
datasets:
#选填,可多个数据集 可选值参考selector.yaml中 dataset_usage 字段
- usage: train
#选填,数据集存储格式,可选值参考selector.yaml中 file_format 字段
file_format: compressed
#必填,数据集支持的领域,详情见模型任务对应列表,可选值参考selector.yaml中 field 字段
field: cv
#必填,可多填,数据集支持的任务类型,详情见模型任务对应列表,可选值参考selector.yaml中 task 字段
task:
- classification
- detection
#选填,数据集标签格式,详情见模型任务对应列表,可选值参考selector.yaml中 annotation_format 字段
annotation_format: custom
#必填,数据集名称(唯一)
name: mnist
#选填,数据集路径,可为uri链接、s3或spark链接。 以code文件夹为根目录,数据集文件的相对路径
path: mnist
#选填,数据集标签格式,详情见模型任务对应列表,可选值参考selector.yaml中 annotation_format 字段
annotation_format: custom
#必填,模型支持的领域,详情见模型任务对应列表,可选值参考selector.yaml中 field 字段
field: cv
#必填,模型支持的任务类型,详情见模型任务对应列表,可选值参考selector.yaml中 task 字段
task: classification
train:
#选填,是否支持训练可视化,默认可视化路径为平台定义的输出路径,可选值参考selector.yaml中 visualization 字段
visualization: TensorBoard
#选填,预训练模型相对于code目录的路径
pretrained_model: pretrain_model/pretrain.ckpt
#必填,训练启动脚本
#必填,训练启动脚本
entry: train.py
#选填,模型训练参数
#required,代表该参数是否必填,校验该参数是否为空,默认true
#editable,代表该参数是否可修改,如果为false,key和value都不可修改,默认true
#type可选值参考selector.yaml中 params_type 字段
#所有Boolean属性值默认为true
user_params:
- name: input_width
type: string
default: '2048'
required: true
desc: input width
editable: false
- name: input_height
type: string
default: '1536'
required: true
desc: input height
editable: true
- name: batch_size
type: integer
default: 128
required: true
desc: input batch size
editable: true
- name: epoch_size
type: integer
default: 100
required: true
desc: epoch size
editable: true
- name: init_lr
type: float
default: 0.001
required: true
desc: initial learning rate
editable: true
#必填,平台参数相对于模型命令行参数的映射
sys_params:
- name: pretrained_model
desc: 预训练模型路径
arg: pretrained_model
- name: data_path
desc: 数据集路径
arg: data_path
- name: output_path
desc: 输出路径
arg: output_path
eval:
#必填,评估入口文件
entry: eval.py
#选填,模型评估参数
#required,代表该参数是否必填,校验该参数是否为空
user_params:
- name: min_score
type: float
default: 0.4
required: true
desc: minimal score
editable: true
- name: nms_threshold
type: float
default: 0.2
required: true
desc: nms threshold
editable: true
# 必填,平台参数相对于模型命令行参数的映射
sys_params:
- name: data_path
desc: 数据集路径
arg: data_path
- name: output_path
desc: 输出路径
arg: output_path
- name: checkpoint_path
desc: 评估模型路径
arg: checkpoint_path
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/livehome/apulis-model-gallery.git
git@gitee.com:livehome/apulis-model-gallery.git
livehome
apulis-model-gallery
apulis-model-gallery
v1.6.0

搜索帮助

344bd9b3 5694891 D2dac590 5694891