1 Star 0 Fork 9

viewda / scrapy-51job

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
README.md 838 Bytes
一键复制 编辑 原始数据 按行查看 历史

招聘爬虫

功能

  • 此爬虫采用scrapy框架,以redis作为地址缓存,以ES作为内容存储
  • 可以单独启用也可以导入crawlab 平台

爬虫

  • 51job
  • 猎聘
  • 拉勾
  • 智联
  • Boss直聘:易被反爬

截图

1. 采集结果

2. 爬虫管理平台

Python
1
https://gitee.com/viewda/scrapy-51job.git
git@gitee.com:viewda/scrapy-51job.git
viewda
scrapy-51job
scrapy-51job
master

搜索帮助