1 Star 1 Fork 1.9K

Jervis / webmagic

forked from 黄亿华 / webmagic 
 / 详情

单IP不同维度测试

待办的
拥有者
创建于  
2017-08-08 14:16

期望

  • 测出单IP单线程间隔时间多久会受限
  • 加入一些其它策略,如cookie,header,UA之后情况会怎样
  • 根据上面的测试结果,进行多IP切换看实际运行效果

评论 (5)

Jervis 创建了任务
Jervis 指派了任务给Jervis

单IP单线程5秒请求一次,100个请求的时候出现限制,500次的时候出现50次请求失败

单IP单线程5秒请求一次,切换一个IP,请求100次,42次受限,无UA

单IP单线程5秒请求一次,切换一个IP,请求100次的时候受限,中间一段时间限制多点,后面几乎没限制了,500次总共限制30次

在上一条评论的基础上,请求间隔改成2.5秒,出现限制的情况明细增多,也会呈现出时间段的限制,一段段时间限制特别厉害,下一个时间段又几乎不限制,整体来说,请求500次,限制100次

单IP单线程,2.5秒间隔,设置了UA,Cookie,500次限制50次

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(1)
967877 yaodongjie 1578937034
Java
1
https://gitee.com/JervisPG/webmagic.git
git@gitee.com:JervisPG/webmagic.git
JervisPG
webmagic
webmagic

搜索帮助

344bd9b3 5694891 D2dac590 5694891