1.1K Star 3.6K Fork 1.4K

GVP黄亿华 / webmagic

如果在运行过程中监控cookie过期并及时切换cookie?

Backlog
JungleKing  Opened this issue

如题?有大佬们有想法么?卡住了这块

91333 jungleking 1578917094 total 3 participants

Comments (2)

czs208112 2018-09-19 16:44

最近写的爬虫刚好涉及到了这一块,cookie过期后就模拟登陆一次获取cookies,cookies已经获取到了,但是由于使用了FileCacheQueueScheduler,cursor增长了,但是url没有,导致爬虫停止,一步一个坑啊。。

木头软件 2020-01-03 08:16

木头浏览器(MutouBrowser)可以保存多个用户的Cookie,然后一键切换Cookie,或自动更换Cookie。

Sign in to comment

Assignees
Labels
Not set
Projects
Milestones
Branches
Planed to start
Not set
Planed to end
Not set
Top level
Priority
Java
1
https://gitee.com/flashsword20/webmagic.git
git@gitee.com:flashsword20/webmagic.git
flashsword20
webmagic
webmagic

Search