当前仓库属于暂停状态,部分功能使用受限,详情请查阅 仓库状态说明
51 Star 174 Fork 69

小码编程 / scrapy_zhaopin
暂停

加入 Gitee
与超过 800 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README.md

简介

不定期更新优化。

软件 版本 功能 地址
Anaconda 5.3 Python集成开发环境 https://www.anaconda.com/
Django 3.1.7 Web框架 https://www.djangoproject.com/
Scrapy 2.4.1 爬虫框架 https://scrapy.org/
Echarts 5.0.2 Echarts图表 https://eacharts.apache.org/

基于Python和Echarts职位画像系统,使用Scrapy抓取职位招聘数据,使用Django+echarts完成数据可视化。

环境安装配置

建议直接安装anconda,然后git clone后进入项目目录,执行pip install -r requirements.txt

项目说明

1. 数据抓取(DataSpider)

基于Scrapy爬虫框架,职位数据抓取模块

2. 数据清洗(DataClean)

设置定时器,对数据进行清洗

3. 数据可视化(DataView)

基于Django的职位画像系统

shell文件夹为定时执行脚本,主要作用如下:

  1. 数据库数据进行数据统计分析并缓存
  2. 根据统计分析数据生成echarts页面

生产环境运行

  1. python manage.py makemigrations
  2. python manage.py makemigrations zp
  3. python manage.py migrate
  4. python manage.py runserver

nginx部署

  1. 请将nginx_conf下的zwhx.fzj.com.conf放到nginx下的vhost文件夹下
  2. 修改zwhx.fzj.com.conf文件中的,项目所在的目录路径
  3. 启动Uwsgi:Liunx下执行start.sh;Window下执行start.bat(需提前配置uwsgi命令->pip install uwsgi

https://blog.csdn.net/qq_41981651/article/details/90480095

  1. 重启Uwsgi:Liunx下执行restart.sh;Window下执行restart.bat

欢迎Issues

仓库评论 ( 33 )

你可以在登录后,发表评论

简介

基于Python和Echarts职位画像系统,使用Scrapy抓取职位招聘数据,使用Django+echarts完成数据可视化 展开 收起
Python 等 4 种语言
Apache-2.0
取消

发行版 (3)

全部

scrapy_zhaopin

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/ismallcode/scrapy_zhaopin.git
git@gitee.com:ismallcode/scrapy_zhaopin.git
ismallcode
scrapy_zhaopin
scrapy_zhaopin
master

搜索帮助

101014 b92fc32e 1850385 101014 af024cb7 1850385