人工智能工程师实战项目 智能安防系统

视觉方向

指导讲师 张老师

简介 智能安防技术随着深度学习技术的应用已迈入了一个全新的领域。 深度学习的应用领域中大约有70%都在图像识别方面，结合安防领域的现状，这就意味着，深度学习在这一领域必然会有颠覆性的发展。 随着大数据与高清摄像机应用的普及，安防时代已经到来，这也就成为深度学习在安防领域必将快速发展的肥沃土壤。

智能安防在各个领域的业务：

（1）在公安行业，智能安防系统在海量的视频信息中，发现犯罪嫌疑人的线索。视频内容的特征提取、内容理解方面有着天然的优势。 智能安防系统可实时分析视频内容，检测运动对象，识别人、车属性信息，汇总的海量城市级信息，再利用强大的计算能力及分析能力，对嫌疑人的信息进行实时分析。 给出最可能的线索建议，将犯罪嫌疑人的轨迹锁定由原来的几天，缩短到几分钟，为案件的侦破节约宝贵的时间。真正成为办案人员的专家助手。

（2）在智能楼宇中，智能安防系统可以综合控制着建筑的安防、能耗，对于进出大厦的人、车、物实现实时的跟踪定位。 更好管理办公人员与外来人员，使得大厦的运行效率最优。通过智能安防系统汇总整个楼宇的监控信息、刷卡记录，室内摄像机能清晰捕捉人员信息。 在门禁刷卡时实时比对通行卡信息及刷卡人脸部信息，检测出盗刷卡行为。 还能区分工作人员在大楼中的行动轨迹和逗留时间，发现违规探访行为，确保核心区域的安全。

（3）在民用安防，每个用户都是极具个性化的，利用智能安防的服务能力，为每个用户提供差异化的服务，提升个人用户的安全感，确实满足人们日益增长的服务需求。 以家庭安防为例，当检测到家庭中没有人员时，家庭安防摄像机可自动进入布防模式，有异常时，给予闯入人员声音警告，并远程通知家庭主人。 而当家庭成员回家后，又能自动撤防，保护用户隐私。夜间期间，通过一定时间的自学习，掌握家庭成员的作息规律，在主人休息时启动布防，确保夜间安全，省去人工布防的烦恼，真正实现人性化

课程中，学员们已经掌握了基本的传统图像技术和深度学习基础，也掌握了图像进行分类检测和识别技术，以及了解部分模型和各种loss计算方式。

本项目中，要求学员们结合课程中学习到的内容以及互联网上开源的一些算法模型，实现一个智能安防系统。

项目

学员需要利用python, Tensorflow，PyTorch，Anaconda等函数库以及深度学习方面的检测模型和图像预处理模型，例如去霾，去雨的相关算法知识来实现一个智能安防系统。

评价标准

成果1，一整套可以运行的系统 包含代码和详细的文档，文档要求可操作，能够按照文档的描述搭建系统并运行，文档不全者会酌情扣分。

文档要求： 对系统的各个组成部分的构造和自己的理解以及相互之间的关系的描述。 训练过程中踩到的一些坑和自己的心得。 对系统的输出结果的简单分析。 系统要求能对图片上的物体进行检测识别并给出合理的输出。

系统需要给出合理的评价指标，例如ROC,map等。

成果2，图像预处理 在智能安防系统中，检测和识别之前还需要有图像预处理操作，因为在自然场景下会遇到极端天气，这里需要用去雾以及去雨的算法实现。

提示： （1）若用传统图像算法进行图像预处理，把处理模块放在模型计算之前即可，预处理之后的图片再输入到模型中进行检测 （2）若使用深度学习模型进行图像预处理，需要注意多框架多模型的搭配，创建各个虚拟环境以及CUDA和CUDNN等版本控制，最好有多卡进行部署和计算，还需要注意电脑或者服务器之间的资源合理分配问题。这里需要一定的项目结构计算的设计，学员需要多加思考。此方法较为复杂，建议有一定功底的学员选用。

成果3, 提供一个演示视频 视频内容：从网站上，下载一些图像视频文件，或者自己录制，送入系统进行检测。可以输出并实时显示检测物体和信息。没有检测到的物体可以给出没有检测到的提示

部分提供的数据集：

MSCOCO数据集 本项目提供的数据集： COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。 这个数据集以scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定。 图像包括91类目标，328,000影像和2,500,000个label。 目前为止有语义分割的最大数据集，提供的类别有80 类，有超过33 万张图片，其中20 万张有标注，整个数据集中个体的数目超过150 万个。

备注：自行下载或者联系课程管理人员获取训练数据。

项目要点提示：

开发过程在linux系统上进行，尽量不要尝试在windows上进行项目开发，会遇到各种不必要问题。 系统的输入输出不做要求，能够正常演示即可。

提示：

1.先去查看去雾去雨的相关算法以及相关资料，然后再进行编写程序。

2.检测模型有很多种具体选择哪种模型，学员可自行选择。在模型使用之前先去查看论文和相关资料。

3.在了解了模型算法原理之后，再着手去做模型的训练工作

4.若做一些教新的检测模型例如：CornerNet；CornerNet-Lite模型的检测识别有困难的，可以尝试使用SSD或者YOLOV3模型进行代替。

备注： 技术条件好的同学可以做多个模型的工作，并作出对比和结论。相关资料和开源代码学员可自行查找和借鉴，如若需要帮助，请练习课程管理员

该项目为一个比较典型的企业级智能安防系统项目，项目中提供的了训练数据。

备注：数据集是开源整理好的数据集，请联系课程管理人员获取训练数据。相关论文资料拓展学员可以自己查找。