1 Star 1 Fork 3

范书坤 / spider-gsxt

forked from tikazyq / spider-gsxt 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

spider-gsxt

企业查询爬虫

环境安装

  • Python3.5
  • Mysql5.6
  • Phantomjs2.0.0
  • Chrome

安装python依赖包

pip3 install -r requirements.txt

修改配置文件

vi config.py

启动服务

python3 app.py

调用接口示例

/crawl?name=xxxx

name为需要查询企业名称

安装Chrome以及ChromeDriver

sudo apt-get install libxss1 libappindicator1 libindicator7 libnss3
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
sudo dpkg -i google-chrome*.deb

http://chromedriver.storage.googleapis.com/index.html 下载并安装最新版本的chromedriver (2.33)

wget -N http://chromedriver.storage.googleapis.com/2.33/chromedriver_linux64.zip
unzip chromedriver_linux64.zip
chmod +x chromedriver
sudo mv -f chromedriver /usr/local/share/chromedriver
sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
sudo ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

安装xvfb

sudo apt-get -y install xvfb gtk2-engines-pixbuf
sudo apt-get -y install xfonts-cyrillic xfonts-100dpi xfonts-75dpi xfonts-base xfonts-scalable

数据库

数据表名为companies

字段映射:

# 注册资本(万)
register_capital
# 法定代表人
representative
# 成立日期
establish_date
# 经营范围
business_scope
# 公司名称
company_name
# 住所(公司地址)
company_address
# 统一社会信用代码
credit_code
# 更新时间
update_ts

问题

NSS >= 3.26 is required

空文件

简介

企业查询爬虫 展开 收起
Python
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/fanshukun/spider-gsxt.git
git@gitee.com:fanshukun/spider-gsxt.git
fanshukun
spider-gsxt
spider-gsxt
master

搜索帮助