人工智能工程师实战项目 人体姿态检测

视觉方向

指导讲师 张老师

简介

人体姿态检测，主要在于研究描述人体姿态以及预测人体行为, 其识别过程是在指定图像或视频中, 根据人体中关节点位置的变化, 识别人体动作的过程。 在人体姿态检测方面，有些小得难以看见的关节点，遮蔽的关节点，无法进行很好的识别，但是利用深度学习技术就可以根据上下文判断的关节点。

人体姿态在各个领域的业务：

（1）在家庭智能安防方面，固定场景下的人体姿态检测技术可以应用于家庭监控, 比如为了预防独居老人摔倒情况的发生, 可以通过在家中安装识别摔倒姿态的智能监控设备, 对独居老年人摔倒情况进行识别, 当出现紧急情况时及时做出响应。

（2）在人机交互方面，人体姿态检测可以对人体关键部位比如手肘、脚踝、膝盖等位置做到实时识别，以提供无接触人机交互。目的是为了进一步实现复杂的无接触人机交互，提升用户体验。

（3）在游戏应用方面，基于人体姿态检测技术通过VR,AR，MR等设备进行更好的游戏体验，使用户体验效果更佳真实。

（4）在教育方面，例如远程学习弹钢琴，可以通过人体姿态检测进行手势识别，对手的姿态进行矫正，让学习者养成良好的习惯。

课程中，学员们已经掌握了基本的传统图像技术和深度学习基础，也掌握了图像进行分类检测和识别技术，以及了解部分模型和各种loss计算方式。

本项目中，要求学员们结合课程中学习到的内容以及互联网上开源的一些算法模型，实现一个人体姿态系统。

项目

学员需要利用python, Tensorflow，Anaconda等函数库和框架以及深度学习方面的模型和图像预处理模型的相关算法知识来实现一个人体姿态检测系统。

评价标准

成果1，一整套可以运行的系统 包含代码和详细的文档，文档要求可操作，能够按照文档的描述搭建系统并运行，文档不全者会酌情扣分。

文档要求： 对系统的各个组成部分的构造和自己的理解以及相互之间的关系的描述。 训练过程中踩到的一些坑和自己的心得。 对系统的输出结果的简单分析。 系统要求能对图片上的物体进行语义分割并给出合理的输出。

系统需要给出合理的评价指标，例如ROC,map等。

成果2, 提供一个演示视频内容：从网站上，下载一些人体动作视频，或者自己录制，送入系统中进行计算。可以输出并显示人体的关键点和动作。

成果3，在自己训练完模型之后，需要和原始论文中的模型进行对比分析，并整理成文档，写下自己的心得。（有能力的同学还可以思考怎样去对项目进行优化）

相关数据集介绍：

MSCOCO数据集 本项目提供的数据集： COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。 这个数据集以scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定。 图像包括91类目标，328,000影像和2,500,000个label。 目前为止有语义分割的最大数据集，提供的类别有80 类，有超过33 万张图片，其中20 万张有标注，整个数据集中个体的数目超过150 万个。

LSP数据集 该数据集包含使用上面显示的标签从Flickr收集的2000个大多数运动人物的带姿势注释图像。图像已按比例缩放，以使最突出的人物的长度约为150像素。每个图像都带有14个关节位置的注释。从以人为本的角度，左，右关节始终被标记。样本数为2K，关键点个数：14，数据集为单人全身。

LSP 地址：http://sam.johnson.io/research/lsp.html 样本数：2k 关节点数：14 全身，单人

FLIC 地址：https://bensapp.github.io/flic-dataset.html 样本数：2W 关节点个数：9 全身，单人

MPII 地址：http://human-pose.mpi-inf.mpg.de/ 样本数：25K 关节点个数：16 全身，单人/多人，40K people，410 human activities

MSCOCO 地址：http://cocodataset.org/#download 样本数：>= 30W 关节点个数：18 全身，多人，keypoints on 10W people

PoseTrack 大小：114.26 GB 地址：https://www.posetrack.net/users/download.php

备注：推荐使用COCO数据集和MPII数据集；可自行选择数据集下载或者联系课程管理人员获取训练数据。

项目要点提示：

开发过程在linux系统上进行，尽量不要尝试在windows上进行项目开发，会遇到各种不必要问题。 系统的输入输出不做要求，能够正常演示即可。

提示：

1.先去查看人体识别模型算法以及相关资料，然后再进行编写模型和程序，之后再进行训练。

2.在数据集方面不限于COCO数据集，也可以用其他数据集代替，相关数据集资料可以自行整理并查找。

3.在模型方面，学员可以自行查找并选择，具体使用哪种模型结构可以自行整理决定。

备注： 技术条件好的同学可以做多个模型的工作，并作出对比和结论。相关资料和开源代码学员可自行查找和借鉴，如若需要帮助，请联系课程管理员

该项目为一个利用深度学习技术识别的人体姿态系统项目，项目中提供的了部分训练数据。

备注：数据集是开源整理好的数据集，请联系课程管理人员获取训练数据。相关论文资料拓展学员可以自己查找。