guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。其设计灵感来源于多个爬虫国内外爬虫框架的总结。采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试,定制执行js、自定义cookie等功能。在处理网站抓取多次后被封IP的问题上,guozhongCrawler采用动态轮换IP机制有效防止IP被封。另外,源码中的注释及Log输出全部采用通俗易懂的中文。让初学者能有更加深刻的理解
最近更新: 9年前公司针对openfire进行的二次开发,使用xmpp协议(服务端,客户端请下载我的kingraytone项目),对应的完成了消息漫游,表情漫游等功能
最近更新: 10年多前a small php spider utils from MzPhp2
最近更新: 9年前Aisen微博是新浪微博的第三方客户端,遵循Android Design,Holo主题风格,设计从界面简约清爽操作简单易用出发,力争为Android用户提供更好以及特别的微博体验。
最近更新: 暂未更新