人工智能工程师实战项目 实例分割

视觉方向

指导讲师 张老师

简介

在理解实例分割之前前，先了解一下语义分割。语义分割从字面意思上理解就是让计算机根据图像的语义来进行分割，其中的语义指的是图像的内容，是对图片意思的理解。分割的意思是从像素的角度分割出图片中的不同对象，对原图中的每个像素都进行标注。在语义分割中，需要将视觉输入分为不同的语义可解释类别，即分类类别在真实世界中是有意义的。而类的具体对象，即为实例，那么实例分割不但要进行像素级别的分类，还需在具体的类别基础上区别开不同的实例。比如说图像有多个人甲、乙、丙，那么他们的语义分割结果都是人，而实例分割结果却是不同的对象

实例分割在各个领域的业务：

（1）在自动驾驶技术方面，拥有一个好的实例分割系统是自动驾驶的核心算法技术，车载摄像头，或者激光雷达探查到图像后输入到神经网络模型中，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。另外，实例分割标注任务主要是指在像素级水平上，把图片中的物体按照类分别标注。这些类可能是“行人，车辆，建筑物，天空，植被等等。例如，实例分割可以帮助自动驾驶车辆识别一个图片中的可行驶区域

（2）在地理信息系统中，实例分割可以通过训练神经网络让机器输入卫星遥感影像，自动识别道路，河流，庄稼，建筑物等，并且对图像中每个像素进行标注。例如，可以检测地图上的生态系统变化。在卫星地图导航方面，实例分割也起到了很大的作用。

（3）在医疗影像分析方面，随着人工智能的崛起，将神经网络与医疗诊断结合也成为研究热点，智能医疗研究逐渐成熟。在智能医疗领域，实例分割主要应用有肿瘤图像分割，龋齿诊断等。将新技术应用到这类领域，可以帮助医生更好的工作。

（4）在工业机器人方面，尤其在自动化装配工作中，运用于实例分割技术能够在不同背景下检测和识别出零件、，它可以提高制造工作中的检测、装配、分选、入库的工作效率，降低劳动成本等方面有非常重大的意义。

课程中，学员们已经掌握了基本的传统图像技术和深度学习基础，也掌握了图像进行分类检测和识别技术，以及了解部分模型和各种loss计算方式。

本项目中，要求学员们结合课程中学习到的内容以及互联网上开源的一些算法模型，实现一个实例分割系统。

项目

学员需要利用python, Tensorflow，Pytorch，Anaconda等函数库和框架以及深度学习方面的模型和相关算法知识来实现一个实例分割系统。

评价标准

成果1，一整套可以运行的系统，包含代码和详细的文档，文档要求可操作，能够按照文档的描述搭建系统并运行，文档不全者会酌情扣分。

文档要求： 对系统的各个组成部分的构造和自己的理解以及相互之间的关系的描述。 训练过程中踩到的一些坑和自己的心得。 对系统的输出结果的简单分析。 系统要求能对图片上的物体进行实例分割并给出合理的输出。

模型需要给出合理的评价指标，例如ROC,MAP等。

成果2，在实例分割系统中，主要针对一些人体物体的信息进行实例分割和识别。在真实的环境中，做实例分割之前可能还需要有图像预处理操作。学员可以运用课程中学习到的相关传统图像算法或者深度学习模型算法对数据进行预处理。

成果3, 提供一个演示视频 视频内容：从网站上，下载一些相对应的图像视频文件，或者自己录制，送入模型进行计算。可以输出并显示实例分割的物体和信息。

成果4，在自己训练完模型之后，需要和原始论文中的模型进行对比分析，并整理成文档，写下自己的心得。（有能力的同学还可以思考怎样去对项目模型进行优化）

相关数据集：

MSCOCO数据集 本项目提供的数据集： COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。 这个数据集以景物理解为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的分割进行位置的标定。 图像包括91类目标，328，000影像和2,500,000个label。 目前为止有实例分割的最大数据集，提供的类别有80 类，有超过33 万张图片，其中20 万张有标注，整个数据集中个体的数目超过150 万个。

备注：自行下载或者联系课程管理人员获取训练数据。

项目要点提示：

开发过程在linux系统上进行，尽量不要尝试在windows上进行项目开发，会遇到各种不必要问题。 系统的输入输出不做要求，能够正常演示即可。

提示：

1.先去查看去实例分割的模型算法以及相关资料，然后再进行编写模型和程序，之后再进行训练。

2.在数据集方面不限于COCO数据集，也可以用其他实例分割数据集代替，相关数据集资料可以自行整理并查找。

3.在模型方面，例如：可以运用mask R-CNN 或者 YOLACT/YOLACT++ 等等相关模型，具体使用哪种模型结构可以自行决定。

备注： 技术条件好的同学可以拓展做多个模型的工作，并作出对比和结论分析。相关资料和开源代码学员可自行查找和借鉴，如若需要帮助，请联系课程管理员

项目中提供的了部分训练数据。

备注：数据集是整理好的数据集，请联系课程管理人员获取训练数据。相关论文资料拓展学员可以自己查找。