前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
记录 Flink jdbc、mysql-cdc 连接 mysql8 碰到的小问题
版本
- Flink 1.15.3
- mysql-cdc 2.3.0
- MySQL 8.0.27
cdc_mysql2mysql
MySQL5
之前主要用 MySQL5 ,下面是 MySQL5 的 sql ,具体见 Flink MySQL CDC 使用总结
1 | set yarn.application.name=cdc_mysql2mysql; |
MySQL8
同样的 SQL 会报错:
1 | Caused by: java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long |
最初怀疑是该版本的 cdc 不支持 MySQL8,后来发现只需要在 jdbc 添加 driver 参数解决:
1 | 'driver' = 'com.mysql.cj.jdbc.Driver' |
完整的sql:
1 | set yarn.application.name=cdc_mysql2mysql; |
小结:
- mysql-cdc: MySQL5和8的写法一样
- jdbc: MySQL8 要添加 dirver 参数:’driver’ = ‘com.mysql.cj.jdbc.Driver’
jdbc_mysql2mysql
MySQL8
根据上面 cdc_mysql2mysql 的经验,jdbc_mysql2mysql source 和 sink 应该都添加driver:
1 | set yarn.application.name=jdbc_mysql2mysql; |
本来以为这样就没问题了,但是会报错:
1 | Caused by: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.Long |
经排查发现是字段类型不一致导致的问题,因为 mysql 建表时 ts的类型为 int ,那么在flink sql 中 ts也应该为 int 而不应该为 bigint,完整的正确 sql 为:
1 | set yarn.application.name=jdbc_mysql2mysql; |
MySQL5
验证一下 MySQL5 是不是存在和 MySQL8 一样的问题,经验证问题一样,在 MySQL5 中 ts 的类型为bigint 也会报同样的错误,完整的正确 sql 为:
1 | set yarn.application.name=jdbc_mysql2mysql; |
sink
在 cdc_mysql2mysql 中 ts bigint 就没问题, 尝试把 sink 表中 ts 的字段类型改为 bigint,最终发现 MySQL5 和 MySQL8 都没问题,也就是只有 jdbc 的 source 表对字段类型限制比较严格。
driver 参数
- jdbc:MySQL5 添加 driver 参数也可以正常运行,但不是必须的,MySQL8 必须添加 driver 参数,所以无论是 5 还是 8 都加上 driver 参数,这样就不用区分 mysql的版本了。
- cdc : 不支持 driver 参数
字段类型映射
官方文档:
- jdbc: https://nightlies.apache.org/flink/flink-docs-release-2.0/zh/docs/connectors/table/jdbc/#%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B%E6%98%A0%E5%B0%84
- cdc : https://nightlies.apache.org/flink/flink-cdc-docs-release-3.3/zh/docs/connectors/flink-sources/mysql-cdc/#%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B%E6%98%A0%E5%B0%84


MySQL8 适配
由此可见,Flink jdbc、mysql-cdc 均适配 MySQL5 和 MySQL8,对应 jar 如下:
- jdbc: flink-connector-jdbc-1.15.3.jar
- cdc : flink-sql-connector-mysql-cdc-2.3.0.jar
仅需要这两个包,不需要额外的 mysql-connector-java jar包
但在 cdc 3.1 版本以上,需要额外的 mysql-connector-java jar包,具体见官网:https://nightlies.apache.org/flink/flink-cdc-docs-release-3.3/zh/docs/connectors/flink-sources/mysql-cdc/

