datax mysql-clickhouse 数据同步事例

datax是一个非常好用的数据库开源同步工具,可以在各种数据库之间同步数据。今天我们看下如何书写mysql到clickhouse同步数据的json。

下面我们以ys库中的test_c表来演示,同步目地端请在同步前创建好相应的表:

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "ys",
            "password": "6******",
            "connection": [
              {
                "jdbcUrl": ["jdbc:mysql://am-xxxx.ads.aliyuncs.com:3306/ys?useUnicode=true&characterEncoding=utf8"],
                "table": ["test_c"] 
              }
            ],
            "column": [      "code_string",
              "create_date",
              "create_time",
              "disRowNo",
              "ShipCode",
              "clerkName",
              "open_id",
              "district_code",
              "base_id",
              "c_gp_id",
              "bc_gp_id",
              "pro_code",
              "longitude",
              "latitude",
              "scan_category" ]
          }
        },
        "writer": {
          "name": "clickhousewriter",
          "parameter": {
            "username": "default",
            "password": "dgz******",
            "column": [      "code_string",
              "create_date",
              "create_time",
              "disRowNo",
              "ShipCode",
              "clerkName",
              "open_id",
              "district_code",
              "base_id",
              "c_gp_id",
              "bc_gp_id",
              "pro_code",
              "longitude",
              "latitude",
              "scan_category" ],
            "connection": [
                {
                    "jdbcUrl": "jdbc:clickhouse://192.168.1.102:8123/ys",
                    "table": ["test_c"] 
                }
            ]
          }
        }
      }
    ]
  }
}

上面的库,用户名,地址等信息大家可以换成自己的。也可以下载以下的附件,改成自己的信息,需要注意的是clickhouse库的jdbc连接端口默认是8123,而不是9004。

demo.zip
f92d9800adfa629c177bf08551e2d80a.zip (597 Bytes)

 

发表评论

您的邮箱地址不会被公开。