datax是一个非常好用的数据库开源同步工具,可以在各种数据库之间同步数据。今天我们看下如何书写mysql到clickhouse同步数据的json。
下面我们以ys库中的test_c表来演示,同步目地端请在同步前创建好相应的表:
{
"job": {
"setting": {
"speed": {
"channel": 3
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "ys",
"password": "6******",
"connection": [
{
"jdbcUrl": ["jdbc:mysql://am-xxxx.ads.aliyuncs.com:3306/ys?useUnicode=true&characterEncoding=utf8"],
"table": ["test_c"]
}
],
"column": [ "code_string",
"create_date",
"create_time",
"disRowNo",
"ShipCode",
"clerkName",
"open_id",
"district_code",
"base_id",
"c_gp_id",
"bc_gp_id",
"pro_code",
"longitude",
"latitude",
"scan_category" ]
}
},
"writer": {
"name": "clickhousewriter",
"parameter": {
"username": "default",
"password": "dgz******",
"column": [ "code_string",
"create_date",
"create_time",
"disRowNo",
"ShipCode",
"clerkName",
"open_id",
"district_code",
"base_id",
"c_gp_id",
"bc_gp_id",
"pro_code",
"longitude",
"latitude",
"scan_category" ],
"connection": [
{
"jdbcUrl": "jdbc:clickhouse://192.168.1.102:8123/ys",
"table": ["test_c"]
}
]
}
}
}
]
}
}
上面的库,用户名,地址等信息大家可以换成自己的。也可以下载以下的附件,改成自己的信息,需要注意的是clickhouse库的jdbc连接端口默认是8123,而不是9004。