5 Star 14 Fork 4

嗝嗝 / FoolSpider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
run.py 932 Bytes
一键复制 编辑 原始数据 按行查看 历史
嗝嗝 提交于 2018-02-11 16:49 . 更新代码注释 2018-2-11 15:30 wene
from huaban.lib import Page, Agent, EsModel
from bs4 import BeautifulSoup
'''
* @authors china_wangyu (china_wangyu@aliyun.com)
* @date 2018-02-11 12:39:30
* @version 1.0.1
'''
if __name__ == '__main__':
EsModel = EsModel.EsModel()
EsModel.connection(db='test', user='root', password='root')
EsModel.set_table("user")
data = {
'name': 'test',
'url': '123.html'
}
EsModel.insert(data)
# url = 'http://www.meisupic.com/topic.php?topic_id=90'
# headers = {
# "User-Agent": "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19"
# }
# agent = Agent.Agent()
# page = Page.Page(url, headers)
# page.set_proxy(agent.ip)
# result = page.get_page()
# params = {
# 'home': 3,
# }
# page.set_params(params)
# result1 = page.get_page()
# print(result1)
Python
1
https://gitee.com/china_wangyu/FoolSpider.git
git@gitee.com:china_wangyu/FoolSpider.git
china_wangyu
FoolSpider
FoolSpider
master

搜索帮助