同步操作将从 渝州大数据实验室/lanius-orchestrate 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
数据继土地、劳动力、资本之后成为新兴的生产要素,各国政府相继制定战略规划,加大对数据汇聚、分析、安全等方面的投入,我国各级政府也不断出台政策,在大数据治理方面给予支持。
渝州大数据实验室是重庆市九龙坡区人民政府与北京大数据先进技术研究院共同建设的新型科研创新实体。实验室由我国知名院士领衔,面向国家大数据建设的基础通用需求、前沿关键技术和典型应用场景,推进大数据技术研发应用、成果转化与生态构建,为国家大数据建设提供支撑。
“Lanius大数据治理平台”是一款由渝州大数据实验室研发推出的数据ETL平台,拥有生产级、易使用、智能化的特点。以推动国内数据治理发展为目标,向个人、政企单位免费开源。 产品主要由设计器(Lanius Desgin)、执行器(Lanius Executor)和调度器(Lanius Orchestrate)三部分构成,其中:
Orchestrate代码完全开源,遵循木兰2.0开源协议,可放心用于商业项目中。
实现调度任务的单个或批次的新增、删除、修改、查询、启动、停止等操作,任务和转换/作业相关联,实现转换/作业的自动化调度,支持对任务执行结果进行自动分析,支持根据任务结果进一步触发其他任务事件。
提供详细的指标监视页面,以便掌控全局;提供邮件、短信等多种主动通知方式,无需专人值守;汇总各个节点任务执行日志,提供统一的渠道排查相关问题;让运维工作不再困难。
在某些大型项目中,需要部署多套程序来应对高频、量大的数据处理需求。我们的Orchestrate支持同时管理多台服务器、多个ETL任务节点,提高数据处理的效率和稳定性,更贴近生产需求。
帮助用户对系统资源的健康情况和任务执行情况做到全局掌控,提供服务器、执行器、资源库健康统计能力,提供资源类型统计能力,提供任务状态统计能力。支持用户通过统计卡片进行快捷跳转,帮助用户快速定位系统资源和任务。
为集群的各个资源的提供管理能力,包括服务器、调度器、执行器、资源库、任务资源。提供定时检测资源健康的能力,加强任务调度运行环境的把控力。
为满足任务自动调度的需求,系统提供任务编排管理模块。可以将需要自动调度的任务提前在此进行编排,将任务的调度周期、ETL 资源、日志等级、名称、参数等相关信息录入到系统,系统将根据设置的调度周期重复执行任务。支持按任务的业务管理需求将任务调度计划进行层级化的分组管理,并提供添加、修改、查询、移动、删除等界面管理功能。
对于已录入到系统中的任务,系统提供启用/禁用、修改、手动启用、删除等能力。
每次执行任务系统都会对应生成一条实例数据,任务调度系统具备实时监控任务实例整个执行过程的能力。数据工程师可以在这里查看每条任务实例调度的实际执行的 ETL 资源、执行器、消耗时间等信息。为了帮助数据工程师快速查找历史记录,系统支持按照任务名称、资源名称、执行器名称、执行状态、时间范围过滤任务实例。除此之外,数据工程师还可以通过详情,查看实例的工作流程图、执行过程中记录的日志以及步骤度量等详细信息,有助于帮助数据工程师分析此次任务的执行情况,以及查找任务工作流程中需要优化的节点。
任务执行如果出现执行失败或者监控异常等情况,数据工程师可以返回任务编排管理模块,将任务进行调整后,通过手动执行的方式,再次尝试执行任务。
系统提供自动记录用户操作事件的能力,让用户的每一步操作都有迹可循,有效确保操作环境的安全。
电话:023-68516919
QQ群:155800768
QQ群二维码: 公众号二维码:
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。