51job数据爬取与分析

介绍

从51job上爬取了10万条（耗时50秒左右）职位数据，抽取“数据分析”岗，进行数据清洗，然后做了分析

使用说明

1. get_data.py ：获取数据的爬虫程序，将爬取的数据存储在本地mysql数据库中。
2. 数据清洗.ipynb ：从数据库中读取数据并清洗，将结果输出到Excel表格
   • 获取工作名中包含“数据”的工作信息
   • 从‘6-8千/月’等工资格式中提取出有效薪资salary如：7000。
   • 根据salary做一次分箱，方便之后进行分析
   • 提取工作的城市信息
   • 提取工作要求中的“学历要求”
   • 参照provinces.py中提供的省份字典，获取工作对应的省份
   • 根据工作福利条数生成福利得分treatment_score
3. job1.pbix ：使用powerBI 对数据进行大致分析
   • 月薪的描述性统计信息
   • 月薪范围计数对比
   • 不同学历的月薪均值
   • 热门城市热力图、地图
   • 福利词云图

参与贡献

1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request

扩展

1. 可以分析其他职位的数据

2. 实习岗和全职岗可分开

预览

数据预览

清洗前：

清洗后：

数据分析结果