1 Star 1 Fork 0

swiftlc / crawler

加入 Gitee
与超过 600 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未指定开源许可证,未经作者的许可,此代码仅用于学习,不能用于其他用途。
克隆/下载
main.go 686 Bytes
一键复制 编辑 Web IDE 原始数据 按行查看 历史
swiftlc 提交于 2020-06-07 15:13 . * processor itemsaver分布式化
package main
import (
"crawler/distribute/config"
"crawler/engine"
"crawler/persist"
"crawler/scheduler"
"crawler/zhenai"
"log"
)
func main() {
itemSaver, err := persist.CreateItemSaver()
if err != nil {
log.Fatalf("start item saver err %s", err.Error())
}
e := engine.ConcurrentEngine{
Scheduler: new(scheduler.QueuedScheduler),
WorkCount: 100,
ItemChan: itemSaver,
RequestProcessor: engine.Work,
}
e.Run(engine.Request{
Url: "http://www.zhenai.com/zhenghun",
Parser: engine.NewFuncParser(config.ZhenAiParseCityList, zhenai.ParseCityList),
})
}

评论 ( 0 )

你可以在登录后,发表评论

Go
1
https://gitee.com/swifterlc/crawler.git
git@gitee.com:swifterlc/crawler.git
swifterlc
crawler
crawler
master

搜索帮助

182229 41614e54 1850385 182230 7885ed45 1850385