基于 Crawlab 分布式爬虫管理系统构建的北部湾城市群综合科技服务资源爬虫平台

综合科技服务资源爬虫平台

-- 基于 Golang 的爬虫管理平台，支持任意语言编写的爬虫。

综合科技服务平台定位是第三方的科技服务撮合、交易平台，它自身不提供具体的科技服务项目，而是通过收集、汇总包括验检测认证、研究开发、知识产权等多个领域科技服务资源和提供服务的市场主体，对外提供综合科技服务资源门户。基于以上定位，通过爬虫技术对科技服务资源进行数据获取、清洗、整理，是平台建设的基础。

平台接入的科技服务数据资源是多源、异构、实时的，工程人员需要开发大规模的爬虫脚本，制定定时运行任务，健康爬虫运行状态，并适时地升级匹配技术来保证资源数据的完整性、可用性。因此，针对大规模爬虫脚本进行版本管理、运行监控，保证爬虫的健康是必要的。

综合科技服务资源爬虫平台，提供爬虫版本管理、分布式运行、定时任务等功能，提高大规模爬虫脚本的健康程度，保证科技服务资源数据的完整性、可用性，是综合科技服务平台门户的关键基础设施。

http://81.68.87.116:8080
账号/密码:admin/admin

cd beibuwan-crawlab

cd backend
go mod tidy
go run main.go

cd ../frontend
npm i && npm run serve