74 Star 116 Fork 42

calvinwilliams / simspider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
ChangeLog-CN 3.26 KB
一键复制 编辑 原始数据 按行查看 历史
calvinwilliams 提交于 2016-04-02 14:19 . UPDATE TO V2.6.7
ver 2.6.7 2016-04-02 calvin
* 修正了调用curl函数时的类型警告问题
ver 2.6.6 2015-09-23 calvin
* 修正了一些错误
ver 2.6.5 2015-04-09 calvin
* 优化内存占用
* 调整了makefile*
ver 2.6.4 2015-03-30 calvin
* 编写doc/simspider.vsd
ver 2.6.3 2015-03-29 calvin
* 新增回调函数funcBeginTaskProc以及设置函数SetBeginTaskProc,新增返回值宏SIMSPIDER_INFO_IGNORE_THIS_TASK配合跳过当前URL
* 一些long类型参数改成int类型
ver 2.6.2 2015-03-28 calvin
* 解决了一些问题
* 新增函数GetCurlStillRunning以便回调函数获取当前还在执行的请求数量
* 新增函数GetCurlFinishedCount以便一轮结束后获取已完成的请求数量
* 新增了一些返回值宏给回调函数使用
ver 2.6.1 2015-03-27 calvin
* 解决了一些问题
ver 2.6.0 2015-03-26 calvin
* 请求队列和完成队列的实现剥离出去作为默认,可以通过队列回调接口用自己的实现替换内置队列实现
* 删除了回调函数funcTravelDoneQueueProc
ver 2.5.3 2015-03-24 calvin
* 利用条件宏解决了低版本curl不支持CURLOPT_ACCEPT_ENCODING和CURLOPT_TRANSFER_ENCODING的问题
* 解决了函数ResetSimSpiderEnv内部没有重置CURL多路复用环境的问题
ver 2.5.2 2015-03-23 calvin
* 新增函数SetMaxRetryCount设置最大重试次数
* 新增函数GetDoneQueueUnitRetryCount得到最终重试次数
* 新增函数SetAcceptEncoding设置内容编码
* 新增函数SetTransferEncoding设置传输编码
* 加入libcurl的DNS缓冲以提高性能
* 更改了HtmlLinkParser和pfuncResponseBodyProc的次序
* 完善了主流程框架对事件的响应以提高性能
ver 2.5.1 2015-03-16 calvin
* 解决了一个编译问题
* 新增函数MoveUnsuccessfulDoneQueueUnitsToRequestQueue,ResetDoneQueue用于移回完成队列中不成功的请求到请求队列
ver 2.5.0 2015-03-14 calvin
* 调整了函数funcTravelDoneQueueProc原型
* 新增请求队列和完成队列回调机制,使用者可以用数据库或Redis等自己实现这两个队列替代引擎内部默认实现(实验性)
* 修正了网址中包含多字节字的问题
ver 2.4.0 2015-03-13 calvin
* 新增多路复用并发数自动调整机制
* 新增HTTP请求头自定义专用链表
* 自动增加Referer请求头选项
* 完善了主流程框架对事件的响应以提高性能
* curl对象复用机制以提高性能
* 调整了示例爬虫simspider代码
ver 2.3.0 2015-03-08 calvin
* 增加错误码SIMSPIDER_ERROR_FUNCPROC_INTERRUPT,回调函数中返回该错误码,爬行过程立即中断
* 修改函数AppendRequestQueue原型
* 修改函数SimSpiderGo原型
* 新增函数SetSimSpiderPublicDataPtr、GetSimSpiderPublicDataPtr用于传递爬虫引擎公共数据
* 新增函数SetDoneQueueUnitPrivateDataPtr、GetDoneQueueUnitPrivateDataPtr用于爬取每个网址时传递私有数据
* 新增函数EnableHtmlLinkerParser用于设置爬虫引擎内部快速HTML链接解析器是否启用,默认为启用
* 修复了一个并发失效的问题
* 优化了自带爬虫示例程序simspider
ver 2.2.1 2015-02-09 calvin
* 修正了入口网址的内部自动补全问题
* 修正了删除请求队列后没有重置结果指针的安全编码问题
* 修正了WINDOWS平台的编译问题
ver 2.2.0 2015-02-07 calvin
* 修改函数SimSpiderGo原型。好了,以后不改啦
* 修改函数名AppendRequestUnit为AppendRequestQueue。好了,以后不改啦
* 新增函数ResizeRequestQueue用于调整请求队列空间大小,为适应大爬取
* 继续简化util模块,去掉了第三方函数库iconv依赖性
* 重新整理了错误码
ver 2.1.1 2015-02-05 calvin
* 剥离对第三方函数库fasterxml,fasterjson的依赖性
ver 2.0.1 2015-02-04 calvin
* 修正了一个代码问题,会导致无法拼接下层URL
* 移植到WINDOWS上
ver 2.0.0 2015-02-01 calvin
* 支持单进程多路复用并发
ver 1.0.0 2014-12-12 calvin
* 创建
C
1
https://gitee.com/calvinwilliams/simspider.git
git@gitee.com:calvinwilliams/simspider.git
calvinwilliams
simspider
simspider
master

搜索帮助