1.2K Star 4.8K Fork 1.9K

GVP黄亿华 / webmagic

 / 详情

如果在运行过程中监控cookie过期并及时切换cookie?

待办的
创建于  
2018-08-23 22:04

如题?有大佬们有想法么?卡住了这块

评论 (2)

JungleKing 创建了任务

最近写的爬虫刚好涉及到了这一块,cookie过期后就模拟登陆一次获取cookies,cookies已经获取到了,但是由于使用了FileCacheQueueScheduler,cursor增长了,但是url没有,导致爬虫停止,一步一个坑啊。。

木头浏览器(MutouBrowser)可以保存多个用户的Cookie,然后一键切换Cookie,或自动更换Cookie。

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(3)
91333 jungleking 1578917094
Java
1
https://gitee.com/flashsword20/webmagic.git
git@gitee.com:flashsword20/webmagic.git
flashsword20
webmagic
webmagic

搜索帮助