Structure

单体版 singleSpider/xinhuanet

• starter 初始化
  • Downloader
  • Channel
    • DownList() 写入 Channel.respchan
    • FirstAnalyzer() 从 Channel.respchan 读取响应 解析列表 写入 Channel.RespShares() -> []models.ArticleDetail
    • 将list 写入 channel
    • 从 channel 并发 读取 解析详情
  • WorkPool: 协程池
  • Parser

config utils

project

• colly

  • 使用colly
  • 爬取动态页面数据

• 每日早报爬取并推送到微信

• topList

  • https://mo.fish/

• gopa

  • http://index.elasticsearch.cn/

• movies

  • https://film.hzz.cool/

• top

  • https://top.panglb.top/

blog

• Golang 爬虫 | 整点新花样
• Go高并发爬虫网页并保存mongo数据库
• go+goquery+chromedp爬虫实现对网页数据抓取

tools

• goquery

抓包

• Fiddler

相关库

1. goquery
2. mahonia

手记

• Golang 简单爬虫实现

todo

1. 东财
2. cctv
   1. 文章内容在js里面

finish

• 凤凰网
• 汽车之家
• 豆瓣250
• 手游之家
• 焦点体育
• pardon110 的博客
• 创意场景图片
• 飞舞映画
• 动漫壁纸
• 人民网
• 新华网

resource

• *凤凰网
• *动漫壁纸
• *豆瓣250
• *汽车之家
• 珍爱网
• 拉勾
• Boss直聘
• *手游之家
• *焦点体育
• 中国教育在线
• *pardon110 的博客
• *创意场景图片
• *飞舞映画