English | 简体中文

ActivityNet数据准备

• 数据集介绍
• 数据下载与处理

数据集介绍

ActivityNet是一个用于大规模视频理解任务的数据集，可用于动作定位、动作识别等任务。

数据下载与处理

1. BMN模型使用的是处理过后的ActivityNet 1.3数据集，有如下两种使用方法：

   • 使用我们处理好的ActivityNet 1.3数据集(压缩包约5.5G)，每一个视频有对应的动作标签、持续区间、持续帧数、持续秒数等信息 使用以下命令下载：

     wget https://paddlemodels.bj.bcebos.com/video_detection/bmn_feat.tar.gz  # 下载处理好的视频特征数据
     wget https://paddlemodels.bj.bcebos.com/video_detection/activitynet_1.3_annotations.json  # 下载处理好的标签数据

     或者点击以下超链接下载：

     视频特征数据 视频特征数据

     然后解压下下好的视频特征压缩包

     tar -xf bmn_feat.tar.gz

   • 自行提取特征

     首先参考下载说明下载原始数据集。在训练此模型时，需要先使用TSN对源文件抽取特征。可以自行抽取视频帧及光流信息，预训练好的TSN模型可从此处下载。

   activitynet_1.3_annotations.json标签文件内的信息如下所示：

   {
       "v_QOlSCBRmfWY": {
           "duration_second": 82.73,
           "subset": "training",
           "duration_frame": 2067,
           "annotations": [{
               "segment": [6.195294851794072, 77.73085420904837],
               "label": "Ballet"
           }],
           "feature_frame": 2064
       },
       "v_ehGHCYKzyZ8": {
           "duration_second": 61.718999999999994,
           "subset": "training",
           "duration_frame": 1822,
           "annotations": [{
               "segment": [43.95990729267573, 45.401932082395355],
               "label": "Doing crunches"
           }],
           "feature_frame": 1808
       },
       ...,
       ...
   }

   最终应该能得到19228个视频特征npy文件，对应activitynet_1.3_annotations.json文件中的19228个标签信息。

2. 新建data/bmn_data文件夹，再将下载完毕后将视频特征数据解压出来放入该文件夹下，最终应该组织成以下形式：

   PaddleVideo
   ├── data
   │   ├── bmn_data
   │   │   ├── fix_feat_100
   │   │   │   ├── v___c8enCfzqw.npy
   │   │   │   ├── v___dXUJsj3yo.npy
   │   │   │   ├── ...
   │   │   │
   │   │   └── activitynet_1.3_annotations.json

3. 最后修改配置文件configs/localization/bmn.yaml中的feat_path字段指定特征文件夹路径，通过file_path字段指定标签文件路径。