What's Change

Bugfix

• [Bug-15215][Api] non-admin should not modify tenantId and queue #15254 @zhanqian-1993
• [Bug] fix switch condition #15228 @caishunfeng
• [Fix-14805] Task definition log may be written twice #15016 @HomminLee
• [Bug][Master] fix duplicate event, avoid event stacking #14986 @caishunfeng
• [Fix-14963] Fix the error of using shell task to obtain Home variable in Ubuntu system #14964 @zhuangchong
• [Fix-14729] fix problem with the command generated by the flink task #14902 @LiuCanWu
• Construct processInstance may NPE when master handling command #14888 @没有腹肌不改名
• [Bug] [Mater] The process always runs when the process contains subprocess and params deliver #14856 @qingwli
• [Task] Change Seatunnel task run-mode to deploy-mode #14800 @鹏....
• fix(dolphinscheduler-alert): fix create http request error #14793 @hunter-cloud09
• [Fix-14627][dolphinscheduler-ui] Fix there are too many child node in sub_process, it cannot to filter by keywords #14770 @chenshuai1995
• [Fix-14546] seatunnel unable submit spark job to spark #14617 @Yhr-N
• [Fix]Solve the deadlock problem caused by queuing #13191 @dahai1996
• after a submit failure, stop the processInstance to avoid an endless loop #13051 @没有腹肌不改名

Doc

• doc: Classify docs to avoid misleading #15282 @zhongjiajie
• [Docs] fix typo #15032 @蒙娜丽莎法师
• Fix a typo in English development-environment-setup.md #14767 @wangzheyuan

Full Changelog: https://github.com/apache/dolphinscheduler/compare/3.1.8...3.1.9

What's Change

Bugfix

• [3.1.3-release][SQL] Fix t_ds_fav table does not exist when rolling upgrade (#13337)
• fix mapper table name t_ds_fav_task (#13334)
• rename h2 and postgreSQL table t_ds_fav to t_ds_fav_task (#13333)
• Fix hive datasource connection leak (#12226)
• [fix][worker][bug] master/worker crash when registry recover from SUSPENDED to RECONNECTED (#13328)
• [Fix-13260][API] Ironed out the issue with lacking the value of user's name when querying the list of workflow definitions. #13261
• [Fix-13248][UI] Ironed out the issue with failing to query task instances by some state of task. #13251
• [Bug][DAO] Worked out the issue with throwing the sql exception.
• when delete workflow, delete related task #12681
• [fix][python] schedule unexpect offline each time update from api #13301
• Fix task group cannot release when kill task #13314
• fix sagemaker sync status (#13264)
• [Improvement][api]Start the downstream workflow when it is online (#13257)
• [Bug][Worker] Fix duplicated key bug when have out parameters of same name (#12930)
• [Fix-13144][UI] Worked out the issue with failing to query workflow instances by the incorrect workflow status. #13243
• [Fix-13187] refactor OpenmldbParameters #13190
• fix the issue with failing to save the settings of timeout alarm (#13234)
• Use bigint represent term in mysql registry to avoid time inaccurate #13082
• fix resource data authorization does not take effect. (#13318)
• Fix task group might be rob by multiple task #13115
• [Bug] [dolphinscheduler-api] in the task define list, when edit task, should show pre node list (#12695)
• [Fix-13160][UI] Ironed out the issue with failing to save the correct settings of dependent tasks. (#13179)
• fix retry task failure (#13077)

Document

• [fix][doc] Dead link for python api (#12848)

Full Changelog: https://github.com/apache/dolphinscheduler/compare/3.1.2...3.1.3

注意：下载请去官网：https://dolphinscheduler.apache.org/en-us/download/download.html

Feature

Improvements

Bugfix

Documentation

Chore

待补充

在 1.3.8 版本中，我们在 Doker&k8s 这里做了许多优化，镜像支持多架构，尤其是 docker-compose [改进][Docker] Docker 镜像应该支持多架构，如 docker-compose 中的 arm64，系统默认参数优化等等，同时对于一些用户体验的问题做了相关优化，欢迎关注这个版本。

特别提醒 1.3.8 修复了一个 1.3 版本存在的一个重要的 BUG，就是补数日期计算错误的 BUG，对应的 issue [#6007][Bug][Worker] 修复补数日期计算错误的 BUG

Feature/Update
[#5405][改进]Docker 和 K8s 第 2 轮改进计划
[#5858][改进][Docker] Docker 镜像支持多架构，如 docker-compose 中的 arm64
[#5706]改进][公共] fastjson 版本升级
[#5577][改进][UI] 项目页面显示项目名称
[#5567][改进][UI] 用户分享URL链接的时候添加增加项目ID，
[#5475][改进][Api]远程上传文件系统失败后清除本地tmp文件
[#5468][改进][Net]复杂网络环境下优化IP获取
[#5467][改进][UI] 解决浏览器兼容问题，如IE、360等
[#5570][改进][Worker] 更新worker.properties 配置文件

BUGFIX

[#6007][Bug][Worker] 修复补数日期计算错误的 BUG
[#5719][Bug][K8s] Ingress ERROR io.k8s.api.networking.v1beta1.IngressSpec.tls: got "map", expected "array" On TLS enabled
[#5699][Bug][UI] 更新用户信息错误
[#5596][Bug][Python] dolphinscheduler_env.sh 中 python_home 和 datax_home 配置冲突
[#5559][Bug][Master Server] Master Server 已关闭，但进程仍在中
[#5581][Bug][Mysql] MySQL 部分字段长度调整
[#5578][Bug][Master] ServerNodeManager WorkerGroupListener 数据监听无序，导致特殊情况下会出现获取数据失败
[#5550][Bug][Master] 当worker宕机后，Kill Yarn任务时出现NPE
[#5549][Bug][WorkerServer] SqlTask NPE
[#5431][Bug][K8s] Master 和 Worker 无法在 1.3.6 中使用自定义 DNS 获得正确的地址

1.3.8 下载地址：https://dolphinscheduler.apache.org/en-us/download/download.html

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.5 版本，1.3.5 作为 1.3.x 的 bug 修复版本，该版本修复了1.3.4中的十余处BUG，同时对于K8s以及Docker做了重点支持，感兴趣的同学可以重点关注下。

release note：

Feature/Update
[K8s] Support resource storage when fs.defaultFS=file:///
[Docker] Update readme
[UI] Improve parameter name
[UI] download url resolve and security page disappear delay problem under GENERAL_USER
[API]enable response resources gzip compression
[#703]Docker image optimization
[#4439][Api] Cors inteceptor problems
[#4418][login controller] Need password when open in new tab

BUG FIX
[#3237][docker] the file requirements.yaml in helm mode has error flag
[#3298][k8s]when recreate or upgrade helm release, the host ip changed
[#4691][UDF] udf jar path not exist when fs.defaultFS starts with file:///
[#4640][UI] Fixed a 404 error when the project name contains "HTTP"
[#4648][UI] TypeError: Cannot read property 'id' of undefined in createUser
[#4566][worker] worker-server logback partial logs are not printed
[#4526][WorkerServer] worker server doesn't work fine in K8s
[#4472][DataSource] Hive JDBC partial permission parameter concatenation JDBC URL error
[#4247][Api] When schedulertime is empty, rerun the workflow, the time of the global parameter is not the latest
[#4449][api-server] Update workflow instance to report null point exception
[#4455]kill task error because of shell output truncation
[#4271][server] IOException or NoSuchFileException in logger server
[#4162][UI]fix re-login problem in new tab and state synchronization problem in multiple tabs
[#3457][flink] fix flink args build problem

1.3.5 版本经过测试伙伴的大量测试，修复了不少极端情况下可能出现问题的情况，十分推荐大家下载部署1.3.5版本
此外，1.3.5 具体变化请参考：https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.5

1.3.5 下载地址：https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

1 个重要修复

现象：
任务实例(taskInstance) 状态更改错误：[#4084][server] fix taskInstance state change error

taskInstance 状态从 7 变为 1，用户观察到状态从“ SUCCESS”变为“ RUNNING”。主节点仍然循环检查 taskInstance状态，等待 taskInstance 状态完成。

原因：
master 向 worker 发送 task：

1. worker 接收到 task 后，会回复给 master一个“ack”，然后去执行task，执行结束之后给 master 发送任务执行结果 result。

2. master 接收到 ack 后将 taskInstance 的状态更新成 1，接收到任务结果 result 后将状态更新成 7。（假设 task 的状态是成功）

正常情况：
ack 和 result 根据 worker 执行的顺序，ack 会先发送到 master，task 状态从 0 -> 1, result 后发送到 master ，task状态从 1 -> 7。

异常情况：
在 ack 的 response 处理的时候出现阻塞，或者是在 netty 消息传输或消费的时候延迟，造成 result 更新数据库的时间早于 ack，导致状态变化 0 -> 7 -> 1. 而实际 worker 已经执行过 task 了，所以 master 就会阻塞住，一直循环查看当前节点的状态。

解决：https://github.com/apache/incubator-dolphinscheduler/pull/4097

其他 BUG FIX 请参考下列内容：

[ #2917 #4034 #4104 #4135 ] [sqoop] sqoop优化和错误修复
[ #3177 ] 任务时间参数解析错误
[ #3457 ] [flink]修复flink args构建问题
[ #4034 ] [server]修复sqoop导入失败
[ #3900 ] [服务器]在一项工作中杀死多个yarn应用
[ #4054 ] [api]修复本月的最后一周，添加/编辑时间，预览和保存时间将报告错误
[ #4054 ] [ui ]修复每月的最后一个星期日
[ #4084 ] [服务器]修复taskInstance状态更改错误
[ #4104 ] 修复sqoop任务jdbc字符串包含特殊字符
[ #4135 ] [worker]修复sqoop导入配置单元错误
[ #4114 ] [server]修复清除任务的执行路径与master相关。
[ #4084 ] [master]修复taskInstance状态更改错误
[ #4090 ] dao在工作流中执行单个任务时抛出NullPointerException
[ #4190 ] [dao]当json数据量很大时，进程列表页面显示缓慢。
[ #4218 ] [bug]从具有NODE_PRE的设置节点开始将为NPE
[ #4223 ] [ui]修复dag节点名称验证

除了 Bug 修复外，本次也做了几处功能改进，参考以下内容：
[#2925][server] init TaskLogger in TaskExecuteProcessor
[ambari-update] 将版本从 1.3.3 更改为 1.3.4
[sqoop-update] 修改 sqoop task 参数
[#4143][quartz-update] 升级 quartz 版本到 2.3.0

1.3.4 版本经过测试伙伴的大量测试，修复了不少极端情况下可能出现问题的情况，十分推荐大家下载部署 1.3.4 版本

此外，1.3.4 具体变化请参考：https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.4

1.3.4 下载地址：https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

1.3.3 版本经过测试伙伴的大量测试，修复了不少极端情况下可能出现问题的情况，十分推荐大家下载部署 1.3.3 版本

BUG FIX 请参考下列内容：
[ #3615 ] [master] 成功执行任务，但尚未提交下一个任务后，停止 master，工作流将失败
[ #4010 ] [master] 当条件节点失败时，过程状态为在容错后失败
[ #3929 ] [master/worker] 在 master 和 worker 容错之后，在成功执行任务实例后，流程实例失败
[ #3994 ] [Sql] 无法导入 sql/dolphinscheduler_mysql 的SQL文件 .sql
[ #3964 ] [api/ui] sub_process的超时警告未生效
[ #3974 ] [api/worker] 子进程不继承父进程的工作组
[ #3966 ] [master] 超时警告在 sub_process
[ #3958 ] [api] 文件中不生效，不应在以下子目录中成功创建文件授权文件的目录
[ #3618 ] [工作人员] 由于已完成任务执行但未释放文件句柄，因此将打开太多文件。
[ #3615 ] [master] 任务成功执行但下一个任务尚未提交后，停止 master，工作流程将失败。
[ #3843 ] [api] 当更新工作流定义名称已存在时，提示不友好。
[ #3924 ] [ui] 保存工作流程定义时，如果后端验证不成功，则保存弹出窗口将不会关闭。
[ #3789 ] [remote] 支持netty心跳以解决频道超时问题。
[ #3836 ] [api] verifyProcessDefinitionName错误消息
[ #3702 ] [api] 重新上传资源文件不会覆盖原始文件。此按钮无效
[ #3621 ] [master] 批量删除正在执行的流程实例后，master无法获得工作人员的反馈结果
[ #3617 ] [master]子任务容错后，生成了2个任务实例，该流程实例状态始终在执行
[ #3616 ] [master] 主机收到工作人员的结果后，主机就停止了。主服务器重新启动后，工作流状态始终在执行
[ #3573 ] [dao] 潜在的水平未经授权的访问
[ #3887 ] [ui] 资源文件列表和UDF列表数据的英文版未显示
[ #3702 ] [api ]重新上传资源文件不会覆盖原始文件。此按钮无效。
[ #3487 ] [API]创建具有多个线程的文件夹将导致多个相同的文件夹
[ #3493 ] [api]工作组管理ui无法显示创建时间和更新时间
[ #3549 ] [Server] [sqlTask​​]查询SQL中的别名列不生效
[ #3719 ] [api] 任务资源可以不可删除
[ #3548 ] [UI] 监控器量表显示空白，具有相同的pid错误
[ #3707 ] [ui] 如果选择，则无法取消工作流定义和工作流实例页面中的批处理删除功能
[ #3553 ] [ui] 编辑工作流程时，所选的连接线没有样式更改，但其他连接线变大
[ #3238 ] [docker] 无法在独立模式下的docker中创建文件夹
[ #3713 ] [common] catfile方法流未关闭
[ #3258 ] [api] 无法获取创建时间和更新时间，报告DateTimeParseException

除了 Bug 修复外，本次也做了几处功能改进，参考以下内容：
[ #3720 ] [ui] js邮箱验证
[ #3843 ] [api]当更新工作流定义名称已存在时，提示不友好
[ #3131 ] [api]当新租户已存在时，提示不正确

此外，1.3.3 具体变化请参考：https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.3

下载请上官网直接下载二进制安装包 ：https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

关于本次发版具体介绍，请参见：https://www.oschina.net/news/120960/apache-dolphinscheduler-1-3-3-released

下载请上官网直接下载二进制安装包 ：https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

New Feature
[#2815] One worker server can set multiple worker groups
[#3370] JVM parameter optimization
[#3223] Click DAG connection to add label function

BUG FIX
[#3536] If user didn't have tenant,create resource will NPE
[#3480] zookeeper multi directories, tasks cannot be assigned
[#3431] After the resource is re-uploaded, the deleted resource directory displayed in the workflow definition is incorrect
[#3463] rename the udf resource file associated with the udf function, Failed to execute hive task
[#3058] The task running order in the process instance does not follow the topological order in the process definition
[#3423] 1.2.0 upgrade to 1.3.2, rename the resource file, view the resource in workflow definition, the file cannot be found
[#3469] The program type of spark node is selected as PYTHON, how should the main jar package be selected
[#3462] The admin user cannot view the UDF functions created by ordinary users in the workflow definition
[#3256] admin account modify report error, caused by mobile phone
[#3364] After update the version from 1.2.0 to 1.3.1,running the spark task fail because the can't find the jar
[#3433] Release the imported process definition which version is below 1.3.0 will be failure
[#3413] shell setting form display error
[#3397] Upgrade from 1.2.0 to 1.3.0,Run the spark task, the error is "spark task params is not valid"
[#1336] Dependent execution fails after task performs serial complement
[#3390] Run hive task, udf resource path is incorrect
[#3357] Select the dag connection to pop up the label edit box
[#3258] [Worker group manage] Connot get create time and update time,report DateTimeParseException
[#3209] ambari plugin the config options which unit doesn't write into config file
[#3255] Click Cancel, the node data is restored to the original data
[#3259] Delete the pid of the master and worker processes
[#3261] When modifying the dag, if the DAG is not saved, it cannot be formatted
[#3272] Default assignment of delete condition judgment node
[#3269] Fix the problem that the label of DAG creation task is not displayed, the workflow cannot be formatted after saving, and the drawer style is global
[#3393] view the log of the subtask, prompt "task instance does not exist"

Improvement
[#3351] process_definition_json contains definitionList，but this definitionList is not use
[#3327] resource file content update
[#3347] The new shell script is used to view the server processes of nodes

Enhancement
[#3176] optimize #3165 Gets the value of this property “resource.storage.type”， Comparison with enumerated types

请到github下载https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.1.0

码云上不再支持

Easy Scheduler Release 1.1.0

Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。

新特性：

• [EasyScheduler-391] run a process under a specified tenement user
• [EasyScheduler-288] Feature/qiye_weixin
• [EasyScheduler-189] Kerberos等安全支持
• [EasyScheduler-398]管理员，有租户（install.sh设置默认租户），可以创建资源、项目和数据源（限制有一个管理员）
• [EasyScheduler-293]点击运行流程时候选择的参数，没有地方可查看，也没有保存
• [EasyScheduler-401]定时很容易定时每秒一次，定时完成以后可以在页面显示一下下次触发时间
• [EasyScheduler-493]add datasource kerberos auth and FAQ modify and add resource upload s3

增强：

• [EasyScheduler-227] upgrade spring-boot to 2.1.x and spring to 5.x
• [EasyScheduler-434] worker节点数量 zk和mysql中不一致
• [EasyScheduler-435]邮箱格式的验证
• [EasyScheduler-441] 禁止运行节点加入已完成节点检测
• [EasyScheduler-400] 首页页面，队列统计不和谐，命令统计无数据
• [EasyScheduler-395] 对于容错恢复的流程，状态不能为 **正在运行
• [EasyScheduler-529] optimize poll task from zookeeper
• [EasyScheduler-242]worker-server节点获取任务性能问题
• [EasyScheduler-352]worker 分组, 队列消费问题
• [EasyScheduler-461]查看数据源参数，需要加密账号密码信息
• [EasyScheduler-396]Dockerfile优化，并关联Dockerfile和github实现自动打镜像
• [EasyScheduler-389]service monitor cannot find the change of master/worker
• [EasyScheduler-511]support recovery process from stop/kill nodes.
• [EasyScheduler-399]HadoopUtils指定用户操作，而不是 **部署用户

修复：

• [EasyScheduler-394] master&worker部署在同一台机器上时，如果重启master&worker服务，会导致之前调度的任务无法继续调度
• [EasyScheduler-469]Fix naming errors,monitor page
• [EasyScheduler-392]Feature request: fix email regex check
• [EasyScheduler-405]定时修改/添加页面，开始时间和结束时间不能相同
• [EasyScheduler-517]补数 - 子工作流 - 时间参数
• [EasyScheduler-532]python节点不执行的问题
• [EasyScheduler-543]optimize datasource connection params safety
• [EasyScheduler-569]定时任务无法真正停止
• [EasyScheduler-463]邮箱验证不支持非常见后缀邮箱

感谢：

最后但最重要的是，没有以下伙伴的贡献就没有新版本的诞生：

Baoqi, jimmy201602, samz406, petersear, millionfor, hyperknob, fanguanqun, yangqinlong, qq389401879, chgxtony, Stanfan, lfyee, thisnew, hujiang75277381, sunnyingit, lgbo-ustc, ivivi, lzy305, JackIllkid, telltime, lipengbo2018, wuchunfu, telltime

以及微信群里众多的热心伙伴！在此非常感谢！

Easy Scheduler Release 1.0.5

Easy Scheduler 1.0.5是1.x系列中的第六个版本。

增强：

• [EasyScheduler-597]child process cannot extend father's receivers and cc

修复

• [EasyScheduler-516]The task instance of MR cannot stop in some cases
• [EasyScheduler-594]soft kill task 后 进程依旧存在(父进程 子进程)

Easy Scheduler Release 1.0.2

Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持，具体如下：

新特性：

• [EasyScheduler-79] 调度通过token方式对外开放接口，可以通过api进行操作
• [EasyScheduler-138] 可以指定任务运行的机器(组)
• [EasyScheduler-139] 任务流程监控及Master、Worker、Zookeeper运行状态监控
• [EasyScheduler-140] 工作流定义—增加流程超时报警
• [EasyScheduler-134] 任务类型支持Oracle、CLICKHOUSE、SQLSERVER、IMPALA
• [EasyScheduler-136] Sql任务节点可以独立选取抄送邮件用户
• [EasyScheduler-141] 用户管理—用户可以绑定队列,用户队列级别高于租户队列级别，如果用户队列为空，则寻找租户队列

增强：

• [EasyScheduler-154] 租户编码允许纯数字或者下划线这种的编码

修复：

• [EasyScheduler-135] Python任务可以指定python版本

• [EasyScheduler-125] 用户账号中手机号无法识别联通最新号码166开头

• [EasyScheduler-178] 修复ProcessDao里细微的拼写错误

• [EasyScheduler-129] 租户管理中，租户编码带下划线等特殊字符无法通过校验

感谢：

最后但最重要的是，没有以下伙伴的贡献就没有新版本的诞生：

Baoqi , chubbyjiang , coreychen , chgxtony, cmdares , datuzi , dingchao, fanguanqun , 风清扬, gaojun416 , googlechorme, hyperknob , hujiang75277381 , huanzui , kinssun, ivivi727 ,jimmy, jiangzhx , kevin5210 , lidongdai , lshmouse , lenboo, lyf198972 , lgcareer , lzy305 , moranrr , millionfor , mazhong8808, programlief, qiaozhanwei , roy110 , swxchappy , sherlock111 , samz406 , swxchappy, qq389401879 , lzy305, vkingnew, William-GuoWei , woniulinux, yyl861, zhangxin1988, yangjiajun2014, yangqinlong, yangjiajun2014, zhzhenqin, zhangluck, zhanghaicheng1, zhuyizhizhi

以及微信群里众多的热心伙伴！在此非常感谢！

本次更新包含以下内容(安装部署包请到附件进行下载)：
1,outlook TSL 发邮件支持
2,servlet 和 protobuf jar冲突解决
3,创建租户同时建立linux用户
4,重跑时间负数
5,单机和集群都可以使用install.sh一键部署
6,队列支持界面添加
7,escheduler.t_escheduler_queue 增加了create_time和update_time字段

Easy Scheduler

Easy Scheduler for Big Data

设计特点： 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
其主要目标如下：

• 以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
• 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
• 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
• 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
• 支持工作流全局参数及节点自定义参数设置
• 支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
• 支持任务日志在线查看及滚动、在线下载日志等
• 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
• 支持对Master/Worker cpu load，memory，cpu在线查看
• 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
• 支持补数
• 支持多租户
• 支持国际化
• 还有更多等待伙伴们探索

与同类调度系统的对比

系统部分截图

文档

• 后端部署文档

• 前端部署文档

• 使用手册

更多文档请参考 easyscheduler中文在线文档

帮助

The fastest way to get response from our developers is to submit issues, or add our wechat : 510570367