代码拉取完成,页面将自动刷新
同步操作将从 袋鼠云/Taier 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
Taier 名字由来中国古代十大名剑之一 —— 太阿。
Taier 是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
Taier 脱胎于袋鼠云 - 数栈 (一站式大数据开发平台),技术实现来源于数栈分布式调度引擎DAGScheduleX。
DAGScheduleX是数栈 产品的重要基础设施之一,负责大数据平台所有任务实例的调度运行。
Zookeeper
分布式节点
+ 两级存储策略
+ 队列机制
。每个节点都可以处理任务调度与提交;任务多时会优先缓存在内存队列,超出可配置的队列最大数量值后会全部落数据库;任务处理以队列方式消费,队列异步从数据库获取可执行实例Spark
、Flink
的调度, 后续将开源::
SparkMR、PySpark、FlinkMR、Python、Shell、Jupyter、Tersorflow、Pytorch、HadoopMR、Kylin、Odps、
SQL类任务(MySQL、PostgreSQL、Hive、Impala、Oracle、SQLServer、TiDB、greenplum、inceptor、kingbase、presto)
Hadoop
集群Spark
、Flink
等引擎的多个版本共存Spark
、Flink
Taier
水平扩容方式;
请参考官方文档: 快速上手
如果在使用上有遇到bug或者优化点,强烈建议你提issue,我们将及时修复
参考CONTRIBUTING.
Taier is under the Apache 2.0 license. See the LICENSE file for details.
我们使用钉钉 沟通交流,可以搜索群号[30537511]或者扫描下面的二维码进入钉钉群
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。