1 Star 0 Fork 0

lugela / flinkx

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
carbondatawriter.md 3.13 KB
一键复制 编辑 原始数据 按行查看 历史
tudou 提交于 2021-02-05 18:05 . 1、新增Oracle LogMiner实时采集插件

Carbondata Writer

一、插件名称

名称:carbondatawriter

二、支持的数据源版本

Carbondata 1.5及以上

三、参数说明

  • path

    • 描述:carbondata表的存储路径
    • 必选:是
    • 字段类型:String
    • 默认值:无

  • table

    • 描述:carbondata表名
    • 必选:否
    • 字段类型:String
    • 默认值:无

  • database

    • 描述:carbondata库名
    • 必选:否
    • 字段类型:String
    • 默认值:无

  • column

    • 描述:所配置的表中需要同步的字段名列表
    • 必选:是
      字段包括表字段和常量字段,
      表字段的格式:
      • name:字段名称
      • type:字段类型
{
   "name": "col1",
   "type": "string"
}
  • 必选:是
  • 字段类型:List
  • 默认值:无

  • hadoopConfig
    • 描述:集群HA模式时需要填写的namespace配置及其它配置
    • 必选:是
    • 字段类型:Map
    • 默认值:无

  • defaultFS

    • 描述:Hadoop hdfs文件系统namenode节点地址
    • 必选:是
    • 字段类型:String
    • 默认值:无

  • writeMode

    • 描述:写入模式,支持append和overwrite
    • 必填:否
    • 字段类型:String
    • 默认值:append

  • partition

    • 描述:carbondata分区
    • 必填:否
    • 字段类型:String
    • 默认值:无

  • batchSize

    • 描述:批量提交条数
    • 必填:否
    • 字段类型:int
    • 默认值:204800

四、配置示例

{
  "job" : {
    "content" : [ {
      "reader" : {
        "parameter" : {
          "column" : [ {
            "name" : "id",
            "type" : "id"
          }, {
            "name" : "data",
            "type" : "string"
          } ],
          "sliceRecordCount" : [ "100"]
        },
        "name" : "streamreader"
      },
      "writer" : {
        "name": "carbondatawriter",
        "parameter": {
          "path": "hdfs://ns1/user/hive/warehouse/carbon.store1/sb/sb500",
          "hadoopConfig": {
            "dfs.ha.namenodes.ns1": "nn1,nn2",
            "dfs.namenode.rpc-address.ns1.nn2": "rdos2:9000",
            "dfs.client.failover.proxy.provider.ns1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
            "dfs.namenode.rpc-address.ns1.nn1": "rdos1:9000",
            "dfs.nameservices": "ns1"
          },
          "defaultFS": "hdfs://ns1",
          "table": "sb500",
          "database": "sb",
          "writeMode": "overwrite",
          "column": ["a","b"],
          "batchSize": 204800
        }
    } ],
    "setting" : {
      "restore" : {
        "maxRowNumForCheckpoint" : 0,
        "isRestore" : false,
        "restoreColumnName" : "",
        "restoreColumnIndex" : 0
      },
      "errorLimit" : {
        "record" : 100
      },
      "speed" : {
        "bytes" : 0,
        "channel" : 1
      },
      "log" : {
        "isLogger": false,
        "level" : "debug",
        "path" : "",
        "pattern":""
      }
    }
  }
}
1
https://gitee.com/lugela/flinkx.git
git@gitee.com:lugela/flinkx.git
lugela
flinkx
flinkx
1.10_release

搜索帮助

53164aa7 5694891 3bd8fe86 5694891