bilibili_spider

介绍

一个简单的bilibili spider 可以通过关键词搜索视频，用对应返回的“bvid”来获取它的详情（下载链接） 此外还写了个下载视频的模块，一个把采集数据写入mongo的模块

软件架构

• spider.py 爬虫主逻辑
• download_module.py 下载视频的模块，测试视频下载
• MGWriter.py 用pymongo重新的一个工具模块，便于数据写入
• data2mongo.py 实现一个迭代器采集spider数据，并用MGWriter工具写入

使用说明

1. python spider.py 启动爬虫，通过http://localhost:20000/访问
2. python download_module.py 修改download_module.py里main里的参数，下载对应视频合集
3. python MGWriter.py 测试往mongo里写入数据
4. python data2mongo.py 修改data2mongo.py里main里的参数，采集数据保存到mongo

请作者喝杯奶茶