datax将数据从starrocks迁移至starrocks

1 datax概述

阿里巴巴的DataX是一款开源的数据交换平台，用于实现不同数据源之间的数据同步和迁移。DataX的设计目标是提供一个通用、高效、易扩展的数据交换框架，适用于多种场景，包括数据仓库构建、数据迁移、数据同步等。

官方地址：

https://github.com/alibaba/DataX

2 datax使用情景

• 数据仓库同步
  DataX 可以帮助将数据从一个数据仓库（如关系型数据库、大数据存储系统等）同步到另一个数据仓库，实现数据的迁移、备份或复制。
• 数据库迁移：当我们需要将数据从一个数据库平台迁移到另一个数据库平台时，DataX 可以帮助完成数据的转移和转换工作
• 数据集成与同步
  DataX 可以用作数据集成工具，用于将多个数据源的数据进行整合和同步。它支持多种数据源，包括关系型数据库、NoSQL 数据库、文件系统等，可以将这些数据源的数据整合到一个目标数据源中。
• 数据清洗与转换
  DataX 提供了丰富的数据转换能力，可以对数据进行清洗、过滤、映射、格式转换等操作。这对于数据仓库、数据湖和数据集市等数据存储和分析平台非常有用，可以帮助提高数据质量和一致性。
• 数据备份与恢复
  DataX 可以用于定期备份和恢复数据。通过配置定时任务，可以将数据从源端备份到目标端，并在需要时进行数据恢复。
  
  

3 示例：将数据从starrocks迁移至starrocks

在云上购买一台4U8G的Centos 7.9服务器，安装openjdk

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

解压缩datax压缩包

tar -zxvf datax.tar.gz -C /opt/

创建datax同步配置文件starrocks2starrocks.json，内容参考如下：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://10.0.19.231:32005/database名"],
                                "table": ["表名"]
                            }
                        ],
                        "password": "密码",
                        "username": "root",
                        "where": "partitioned_date in ('2025-08-20')",
                        "splitPk": "partitioned_date"
                    }
                },
                "writer": {
                    "name": "starrockswriter",
                    "parameter": {
                        "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql:loadbalance://10.0.16.28:9030,10.0.10.255:9030,10.0.22.81:9030/",
                                "selectedDatabase": "database名",
                                "table": ["表名"]
                            }
                        ],
                        "loadUrl": ["10.0.16.28:8030","10.0.10.255:8030","10.0.22.81:8030"],
                        "password": "密码",
                        "postSql": [],
                        "preSql": [],
                        "username": "admin",
                        "writeMode": "replace"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

执行命令

python /opt/datax/bin/datax.py --jvm="-Xms6G -Xmx6G" starrocks2starrocks.json