前言
学习总结Flink MySQL CDC,主要目的是同步MySQL数据至其他数据源如Hudi、MySQL等,本文主要以 MySQL2Hudi、MySQL2MySQL两个场景进行示例验证。
版本
Flink | 版本 |
---|---|
Flink | 1.14.3、1.15.4、1.16.1 |
Hudi | 0.13.0 |
MYSQL CDC | 2.3.0 |
安装
将下面的Jar包拷贝到flink/lib下面 (以flink1.15.4为例)
- MySQL CDC(CDC读取MySQL): flink-sql-connector-mysql-cdc-2.3.0.jar,下载地址: https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.3.0/flink-sql-connector-mysql-cdc-2.3.0.jar
- Hudi (Sink Hudi): hudi-flink1.15-bundle-0.13.0.jar,自己对应版本的打包
- Jdbc (Sink MySQL): flink-connector-jdbc-1.15.4.jar, 下载地址:https://repo1.maven.org/maven2/org/apache/flink/flink-connector-jdbc/1.15.4/flink-connector-jdbc-1.15.4.jar
more >>Flink CDC,只是对于Source表,比如MySQL CDC,就是抽取MySQL Source表,CDC 官方文档:https://ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html#,可以查看官方文档了解目前Flink CDC支持哪些数据源,每一种数据源都需要下载对应的Jar包