hand-keras-yolo3-recognize

手语图像识别系统设计

一个基于人体姿态研究的手语图像识别系统。根据OpenPose人体姿态开源模型和YOLOv3自训练手部模型检测视频和图像，再把数字特征进行分类器模型预测，将预测结果以文本形式展现出来。

预期是通过手机移动端对视频进行采集处理并应用，详见视频。

软硬件环境

基于人体姿态的手语图像识别系统采用了软硬件相结合的方法。硬件部分主要是用于采集手语图像的单目摄像头。软件部分主要是通过ffmpeg对视频图像进行处理，然后在Anaconda下配置Python3.6的开发环境，再结合Cmake编译OpenPose模型，最后在VScode编译器中结合OpenCV中的图像算法，实现了对手语图像识别系统所有程序的编译，通过wxFromBuilder框架整合设计了系统主界面。

硬件环境

手语视频图像采集主要采用的硬件设备有笔记本电脑摄像头和手机摄像头。 程序运行硬件环境详细参数如下：

（1）操作系统：Windows10家庭版，64bit

（2）GPU：Intel(R) Core(TM) i5-8300H，主频：2.30GHz

（3）内存：8G

软件环境

（1） 视频处理工具：ffmpeg-20181115

（2） 集成开发环境：Microsoft Visual Studio Code、Anaconda3

（3） 界面设计工具：wxFromBuilder

（4） 编程语言环境：python3.6

系统功能设计

一个基于人体姿态研究的手语图像识别系统。根据OpenPose人体姿态开源模型和YOLOv3自训练手部模型检测视频和图像，再把数字特征进行分类器模型预测，将预测结果以文本形式展现出来。

基于人体姿态的手语图像识别系统是由多模块组成的，主要分为训练模块和识别模块两个部分。

1. 视频帧处理

Python+Opencv2（三）保存视频关键帧

2. OpenPose人体姿态识别

Openpose人体骨骼、手势--静态图像标记及分类（附源码）

Openpose人体骨骼、手势--静态图像标记及分类2（附源码）

由于仅靠人体姿态4和7关键点不足以识别手部位置，容易误判，因此在最终设计中引入了yolo手部识别。

3. yolov3手部模型训练

项目结构主要分为两大部分：YOLOv3深度模型训练部分和YOLOv3和OpenPose手语姿态识别部分。

训练模型思路：

环境：【GPU】win10 (1050Ti)+anaconda3+python3.6+CUDA10.0+tensorflow-gpu2.1.0

训练模型：【Keras+TensorFlow+Yolo3】一文掌握图像标注、训练、识别（tf2填坑）

识别：【Keras+TensorFlow+Yolo3】教你如何识别影视剧模型

模型训练参考代码：https://gitee.com/cungudafa/keras-yolo3

yolo3识别这里参考于：https://github.com/AaronJny/tf2-keras-yolo3

4. 人体姿态数字特征提取

识别完整过程思路：

在OpenPose设计中阐述过求解距离和角度的公式及方法，最终因为个体差异每个人的骨骼可能不同，目前优化为距离比（即小臂3-4关键点的距离与脖子长度0-1关键点距离之比）。

基于 keras的yolo3训练部分项目结构如下表所示：

keras-yolo3训练项目结构:

其中logs文件夹用于存放训练好的模型，VOCdevkit用于存放图片和标注信息。

model_data文件夹内容:

nets文件夹内容:

openpose和yolov3相结合参考：

《手语图像识别系统设计--人体动作识别》设计与实现

5.beyes分类识别

【Sklearn】入门花卉数据集实验--理解朴素贝叶斯分类器

识别部分代码结构:

视频文件处理filesUtils文件夹：

模型model文件夹：

基本算法pose和yolov3文件夹：

使用

1. 配置好相应环境(docs/requirements.txt)

2. 修改相应路径，运行UI_main.py

说明

目前，该项目有很多笔记过程记录在csdn，也很有价值，感兴趣的朋友可以看看。

当然，这个项目仅是原理输出，作为成品推出可适用的方案还插一大段距离，中国手语包含5400+词汇，方言差异等，在词汇自然语言处理上还有很多发挥空间，再结合动态手势规划等等，手语翻译势在必行；

总之，基于手势动作进行图像识别的发展趋势是很大的，图形图像的处理运用在生活中的方方面面，待大家发现哦！

贡献者

cungudafa（王瑜）