代码拉取完成,页面将自动刷新
同步操作将从 huanStephen/magnet 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
三分钟快速搭建流式处理应用!简单实用的分布式大数据处理框架,特点是零基础操作,支持批处理和流式处理。
项目目前由core、xmlbuilder、spark1和client四个模块组成,core模块封装了各个部分的抽象组件;xmlbuilder模块是以xml解析为执行配置来源的读取模块;spark1模块为大数据引擎模块;client模块是客户端调用模块。项目可以扩展执行配置的解析方式和大数据处理引擎,良好的接口可以兼容任何大数据引擎。架构图中蓝色部分为框架的核心模块,非蓝色部分均为可扩展模块。你可以扩展配置文件的格式,可以是json配置、db配置或自定义格式;你也可以扩展大数据处理引擎,Flink、Hive、Kafka或MapReduce;你也可以扩展各种标签组件;你还可以扩展每个标签组件的包装wrapper,用于处理每个标签组件的前置和后置操作。
如果:
你都可以加入我们Magnet社区,我们为你提供创造性的舞台接受你风骚的想法,或者解决实际工作中繁杂的任务。
示例测试文件链接: https://pan.baidu.com/s/1HSQLHD5mzDhlDe4FgQamuw 提取码: e9ip
批处理示例:
流处理示例:
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。