人工智能工程师实战项目 车辆检测及型号识别

视觉方向

简介

车辆检测及型号识别广泛应用于物业，交通等的管理场景中。通过在停车场出入口，路口，高速卡口等位置采集的图片数据，对车辆的数量型号等进行识别，可以以较高的效率对车型，数量信息等进行采集。通过采集的数据，在不同的场景中可以辅助不同的业务开展。如商场停车位的规划，路况规划，或者公安系统追踪肇事车辆等等。

课程中，学员们已经掌握了使用slim框架来对图片进行分类识别。也掌握使用slim物体检测框架来进行物体的检测和识别。

本项目中，要求学员们结合课程中学到的内容，实现一个车辆检测的工业级系统。

项目

学员需要利用tensorflow提供的slim图片分类框架和物体检测框架实现一个可以对任意图片进行车辆检测的系统。

评价标准

成果1, 一整套可以运行的系统

包含代码和详细的文档。文档要求可操作。能够按照文档的描述搭建系统并运行。文档不全者酌情扣分。

文档要求：

• 对系统的各个组成部分的构造和自己的理解以及相互之间的关系的描述。
• 训练过程中踩到的一些坑和自己的心得。
• 对系统的输出结果的简单分析。

系统要求能检测任意图片并给出合理的输出。

系统需要给出合理的评价指标，例如map等。

成果2, 提供一个演示视频

视频内容：从任意图片网站上，随机下载一张有汽车在内的图片，送入系统进行检测。可以输出并显示图片中车辆的位置和型号等信息。没有车辆的图片可以给出没有检测到的提示。

数据集

本项目提供一个车辆分类的数据集。（注意是分类数据，内部没有定位信息）

本项目提供的数据集分类参考数据集中的labels.txt文件：

共48856张图片 其43971张作为训练集，4885张作为验证集。

数据已经预先打包成tfrecord格式，数据格式与课程中，分类模型使用的数据格式相同，打包关键代码参考"download_and_convert_flowers.py"。请联系课程管理人员获取训练数据。

要点提示

• 数据准备过程在linux系统上进行，尽量不要尝试在windows上进行数据的准备，会遇到各种奇怪的问题。
• 系统的输入输出不做要求，能够正常演示即可。
  • 推荐的输入方式有：
    • 命令行直接指定待识别文件
    • 搭建一个web系统，使用表单方式上传文件
    • 搭建一个native程序，使用pyqt等GUI框架搭建GUI界面
  • 推荐的输出方式：
    • 将检测结果写入文件
    • 使用matplotlib显示检测结果
    • 搭建一个web系统，在web页上显示结果
    • 搭建一个native程序，使用pyqt等GUI框架搭建GUI界面
• 训练数据集为分类数据，在1080Ti显卡上，以inceptionv4网络，0.001的学习率，利用google提供的预训练模型，在6～8个小时的训练后可以得到top1 80%的准确率。经过24个小时的训练后，top1可以达到88%。
• 该项目为一个比较典型的工业项目，提供的是分类数据，却要求实现检测的功能。
• 数据集来自网络，未经过人工清洗
• 因为项目要求实现的是一个检测系统，而数据集是一个分类数据集，那么需要考虑如何利用已有成果（检测的预训练模型等）获取位置信息，并与现有数据进行结合。
  • 可以考虑利用预训练模型提取项目数据中的车辆位置，再利用项目数据训练出来的分类模型进行车型判断
  • 在上述步骤基础之上，已经获得位置信息，可以对项目数据进行位置标注，迭代训练检测模型
  • 目前已经有一些弱监督方案（参考yolo9000等论文，可自行搜索弱监督等关键词）可以实现利用少量检测数据结合大量分类数据训练检测模型。