• 2
• 0
• 1

杨振宇 / weixin_article

requests爬取搜狗微信文章，此网站反爬严重(出验证码) 1，携带cookie，且user_agent池随机更换，每次请求适当间隔1.0-3.0s 2，判断验证码页面字符长短，加代理ip,代理ip实现可重用，判断何时加何时不加(抓取过得页面坚决不再抓取) 3，将所有文章url放入redis缓存集合去重， 4，爬取详情页信息时可以实现断点续传，利用的是redis集合的差集方法 5，标题，图片，内容，存入mongodb。