Azkaban SQL jobtype

一、功能说明

本项目为Azkaban的JobType扩展插件，实现Azkaban直接调度数据库脚本的Job。

适用场景：

原本数据库存在大量定时任务+存储过程进行数据处理的项目，可以通过Azkaban进行改造，实现上下级依赖控制及调度监控，使用该插件改造工作量较小。
对于较小数据量的数据处理，无需用到大数据处理架构，同时数据库负载也不高的，可以使用Azkaban+插件实现数据处理。

二、安装部署

下载最新发行版本，如：azkaban-plugin-jobtype-sql-1.0.1.RELEASE.zip

下载地址：https://gitee.com/centy/azkaban-plugin-jobtype-sql/releases

将azkaban-plugin-jobtype-sql-1.0.1.RELEASE.zip拷贝至${AzkabanHome}/plugins/jobtypes/目录下，直接解压到当前目录，解压后目录结构如下：
- plugins
  - sql_job
    - lib
      - ant-1.10.5.jar
      - ant-launcher-1.10.5.jar
      - azkaban-plugin-jobtype-sql-1.0.1.RELEASE.jar
      - fastjson-1.2.23.jar
      - mysql-connector-java-5.1.38.jar
      - postgresql-42.2.45.jar
    - private.properties
重启Azkaban完成安装。

三、插件配置参数

Flow参数

Flow参数可配置在Flow文件内，也可定义在系统环境变量、Azkaban全局参数、Azkaban控制台定义的Flow Parameter等，具体参考Azkaban的配置读取优先级。

Azkaban文档地址：https://azkaban.readthedocs.io/en/latest/getStarted.html

参数	说明
sql_job.database.type	数据库类型，支持mysql/postgresql
sql_job.database.driver	数据库驱动类com.mysql.jdbc.Driver
sql_job.database.host	数据库主机地址
sql_job.database.port	数据库端口
sql_job.database.database	数据库名称
sql_job.database.schema	实例或模式名称，postgresql数据库必填
sql_job.database.username	数据库用户名
sql_job.database.password	数据库密码

Job参数

Job参数定义在Job节点内，用于配置每个Job的定义。

参数	说明
sql_job.scripts	SQL脚本路径，支持绝对路径和相对路径。相对路径是指SQL文件相对project根目录（即上传至Azkaban的zip压缩包的根目录）的路径。支持多个路径，多个通过英文逗号进行分隔。

四、使用说明

本文示例基于Azkaban Flow 2.0，对于Flow 1.0也支持。

快速开始

本示例实现一个两个节点的工作流

示例地址

1.创建quickstart_example文件夹，在这个文件夹中创建quickstart_example.flow工作流文件。
2.在quickstart_example.flow文件中添加以下flow参数，将相关配置修改为你本地的配置：

config: 
  sql_job.database.type: mysql # 支持mysql、postgresql
  sql_job.database.driver: com.mysql.jdbc.Driver
  sql_job.database.host: localhost
  sql_job.database.port: 3306
  sql_job.database.database: demo
  sql_job.database.schema:  # postgresql建议必填
  sql_job.database.username: root
  sql_job.database.password: xxxxxxx

3.实现第1个Job：create_and_insert_job。 -3.1. 在quickstart_example文件夹下创建scripts文件佳，在scripts文件夹中创建一个SQL脚本文件，命名为create_and_insert.sql，里面通过脚本创建一个表并插入测试数据。

create table if not exists table_a(
  id int(10) not null,
  name varchar(16) not null,
  value double(20,3) not null
);

insert into table_a values
 (1,"test-1",1),
 (2,"test-2",2),
 (3,"test-3",3),
 (4,"test-4",4),
 (5,"test-5",5),
 (6,"test-6",6),
 (7,"test-7",7),
 (8,"test-8",8)
 ;

select count(*) from table_a;

-3.2. quickstart_example.flow增加Job定义，JobType为"sql_job"。

config: 
  sql_job.database.type: mysql # 支持mysql、postgresql
  sql_job.database.driver: com.mysql.jdbc.Driver
  sql_job.database.host: localhost
  sql_job.database.port: 3306
  sql_job.database.database: demo
  sql_job.database.schema:  # postgresql建议必填
  sql_job.database.username: root
  sql_job.database.password: 123456

nodes:
  - name: create_and_insert_job
    type: sql_job
    config:
      sql_job.scripts: quickstart_example/scripts/create_and_insert.sql # 脚本路径

4.实现第2个Job：create_and_insert_job。 -4.1. 同3.1,在scripts文件夹中创建一个SQL脚本文件，命名为create_and_insert.sql，里面通过脚本创建一个表并插入测试数据。

update table_a set value = value*2;

select count(*) from table_a;

-4.2. quickstart_example.flow增加Job定义，JobType为"sql_job"。

config: 
  sql_job.database.type: mysql # 支持mysql、postgresql
  sql_job.database.driver: com.mysql.jdbc.Driver
  sql_job.database.host: localhost
  sql_job.database.port: 3306
  sql_job.database.database: demo
  sql_job.database.schema:  # postgresql建议必填
  sql_job.database.username: root
  sql_job.database.password: 123456

nodes:
  - name: create_and_insert_job
    type: sql_job
    config:
      sql_job.scripts: quickstart_example/scripts/create_and_insert.sql # 脚本路径
  - name: update_value_job
    type: sql_job
    dependsOn:
    - create_and_insert_job
    config:
      sql_job.scripts: quickstart_example/scripts/update_value.sql # 脚本路径

5.将quickstart_example打包成zip包，上传Azkaban的project中，上传成功后如下图。
6.执行工作流，结果如下图。

占位符参数

本插件实现SQL脚本的占位符替换，实现原理如下：

SQL脚本中通过"${}"使用占位符参数，其中parameterName命名格式为："sql_job.<自定义参数名>[.<自定义参数名2>]"
可在Azkaban配置中增加parameterName参数配置，配置参数位置可以是环境变量、全局参数、Flow参数、甚至Job参数均可，具体可参考Azkaban配置读取逻辑。
插件在执行SQL脚本前，先从Azkaban的配置参数获取对应的配置值，替换SQL脚本中的占位符参数，再执行脚本。

约束条件：

占位参数命名必须严格按照要求。

使用示例

示例地址

1.参照上面示例，将sql脚本文件进行修改，表名都使用占位符${sql_job.tableName}替换，如下： create_and_insert.sql

create table if not exists ${sql_job.tableName}(
  id int(10) not null,
  name varchar(16) not null,
  value double(20,3) not null
);

insert into ${sql_job.tableName} values
 (1,"test-1",1),
 (2,"test-2",2),
 (3,"test-3",3),
 (4,"test-4",4),
 (5,"test-5",5),
 (6,"test-6",6),
 (7,"test-7",7),
 (8,"test-8",8)
 ;

select count(*) from ${sql_job.tableName};

update_value.sql

update ${sql_job.tableName} set value = value*2;

select count(*) from ${sql_job.tableName};

2.在quickstart_example.flow中增加占位符参数定义，如下：

config: 
  sql_job.database.type: mysql # 支持mysql、postgresql
  sql_job.database.driver: com.mysql.jdbc.Driver
  sql_job.database.host: localhost
  sql_job.database.port: 3306
  sql_job.database.database: demo
  sql_job.database.schema:  # postgresql建议必填
  sql_job.database.username: root
  sql_job.database.password: 123456
  sql_job.tableName: table_b #增加该占位符变量定义

nodes:
  - name: create_and_insert_job
    type: sql_job
    config:
      sql_job.scripts: quickstart_example/scripts/create_and_insert.sql # 脚本路径
  - name: update_value_job
    type: sql_job
    dependsOn:
    - create_and_insert_job
    config:
      sql_job.scripts: quickstart_example/scripts/update_value.sql # 脚本路径

3.上传Azkaban执行同上面示例。

五、注意事项

sql解释执行使用ant.jar包，该包不支持"#"号格式的注释，只支持"--"或"//"格式注释。
占位符参数名必须以"sql_job."作为前缀。

centychen / azkaban-plugin-jobtype-sql

Azkaban SQL jobtype

一、功能说明

二、安装部署

三、插件配置参数

Flow参数

Job参数

四、使用说明

快速开始

占位符参数

使用示例

五、注意事项

简介

发行版 (2)

贡献者

近期动态

centychen / azkaban-plugin-jobtype-sql .gitee-modal { width: 500px !important; }

Azkaban SQL jobtype

一、功能说明

二、安装部署

三、插件配置参数

Flow参数

Job参数

四、使用说明

快速开始

占位符参数

使用示例

五、注意事项

简介

发行版 (2)

开源评估指数源自 OSS-Compass 评估体系，评估体系围绕以下三个维度对项目展开评估：

贡献者

近期动态

搜索帮助

centychen / azkaban-plugin-jobtype-sql