当前仓库属于暂停状态，部分功能使用受限，详情请查阅仓库状态说明

开源项目 > WEB应用开发 > Web爬虫 &&

加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

克隆/下载

README.md 1.87 KB

# 简介
不定期更新优化。

| 软件       | 版本    | 功能           | 地址                             |
|----------|-------|--------------|--------------------------------|
| Anaconda | 5.3   | Python集成开发环境 | https://www.anaconda.com/      |
| Django   | 3.1.7 | Web框架        | https://www.djangoproject.com/ |
| Scrapy   | 2.4.1 | 爬虫框架         | https://scrapy.org/            |
| Echarts   | 5.0.2 | Echarts图表         | https://eacharts.apache.org/            |

基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化。

# 环境安装配置
建议直接安装anconda，然后git clone后进入项目目录，执行pip install -r requirements.txt

# 项目说明
## 1. 数据抓取（DataSpider）
基于Scrapy爬虫框架，职位数据抓取模块

## 2. 数据清洗（DataClean）
设置定时器，对数据进行清洗

## 3. 数据可视化（DataView）
### 基于Django的职位画像系统

### shell文件夹为定时执行脚本，主要作用如下：
1. 数据库数据进行数据统计分析并缓存
2. 根据统计分析数据生成echarts页面

### 生产环境运行
1. python manage.py makemigrations 
2. python manage.py makemigrations zp
3. python manage.py migrate
4. python manage.py runserver

### nginx部署
1. 请将nginx_conf下的zwhx.fzj.com.conf放到nginx下的vhost文件夹下
2. 修改zwhx.fzj.com.conf文件中的，项目所在的目录路径
3. 启动Uwsgi：Liunx下执行start.sh;Window下执行start.bat（**需提前配置uwsgi命令->pip install uwsgi**）

[https://blog.csdn.net/qq_41981651/article/details/90480095][window uwsgi配置]

4. 重启Uwsgi：Liunx下执行restart.sh;Window下执行restart.bat

# 欢迎Issues

[window uwsgi配置]: https://blog.csdn.net/qq_41981651/article/details/90480095

一键复制原始数据按行查看历史

提交于 2021-04-02 16:50 . 优化readme

简介

不定期更新优化。

软件	版本	功能	地址
Anaconda	5.3	Python集成开发环境	https://www.anaconda.com/
Django	3.1.7	Web框架	https://www.djangoproject.com/
Scrapy	2.4.1	爬虫框架	https://scrapy.org/
Echarts	5.0.2	Echarts图表	https://eacharts.apache.org/

基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化。

环境安装配置

建议直接安装anconda，然后git clone后进入项目目录，执行pip install -r requirements.txt

项目说明

1. 数据抓取（DataSpider）

基于Scrapy爬虫框架，职位数据抓取模块

2. 数据清洗（DataClean）

设置定时器，对数据进行清洗

3. 数据可视化（DataView）

基于Django的职位画像系统

shell文件夹为定时执行脚本，主要作用如下：

数据库数据进行数据统计分析并缓存
根据统计分析数据生成echarts页面

生产环境运行

python manage.py makemigrations
python manage.py makemigrations zp
python manage.py migrate
python manage.py runserver

nginx部署

请将nginx_conf下的zwhx.fzj.com.conf放到nginx下的vhost文件夹下
修改zwhx.fzj.com.conf文件中的，项目所在的目录路径
启动Uwsgi：Liunx下执行start.sh;Window下执行start.bat（需提前配置uwsgi命令->pip install uwsgi）

https://blog.csdn.net/qq_41981651/article/details/90480095

重启Uwsgi：Liunx下执行restart.sh;Window下执行restart.bat

欢迎Issues

Python

1

https://gitee.com/ismallcode/scrapy_zhaopin.git

git@gitee.com:ismallcode/scrapy_zhaopin.git

ismallcode

scrapy_zhaopin

scrapy_zhaopin

master