ChunJun 用户调研：任务类型使用情况 & Flink 版本收集

[yanghuaiGit]

为了规划 ChunJun 后续版本的演进方向（特别是同步任务引擎的优化、Flink 内核版本稳定线的选择），我们希望了解社区用户的实际使用情况。

请参与下面的两个投票 👇

（如果使用其他类型，请在评论区补充）

1️⃣ 你当前主要使用哪类任务？
🟦 同步任务（Source → Transform → Sink）
🟩 SQL 任务
🟨 两者都使用

2️⃣ 你当前生产使用的 Flink 版本？
Flink 1.12
Flink 1.16
Flink 1.17
Flink 1.18
其他版本（请在评论区写明）

为了更好地优化同步任务引擎，也欢迎你补充以下信息（任选即可）：

使用最多的同步数据源/目标（例如 MySQL / Kafka / Postgres / Doris / StarRocks / Oracle）
同步任务的主要场景（全量 / 增量 / CDC / 实时 / 离线）
当前最希望我们优化的能力或痛点
是否有升级到更高版本 Flink 的计划

这些反馈会直接影响我们决定是否基于 Flink 1.12 / 1.16 / 1.17+ 建立长期稳定分支，并规划同步任务引擎的后续优化方向。
非常感谢大家的参与！🙏

[Kurola-Bryson]

Mainly uses chunjun for data synchronization, SQL tasks are also used. The Flink version used is 1.18. The most frequently used data sources are MySQL, JDBC, Hive, MaxCompute, Hologress, Kafka, HBase, and Lindom. Both real-time and offline synchronization are used. Our data architecture is a dual-cloud setup paired with physical Hive data centers. It often involves data synchronization between on-premise Hive and cloud-based MaxCompute or Hologress, replacing DataX to achieve batch automatic table creation, not just single tables, but also partition and full database synchronization. The challenge lies in whether to automatically create delta transaction tables or standard tables for databases like MaxCompute. Standard tables in MaxCompute do not support primary key constraints, which is something you need to pay attention to. I hope the automatic table creation can also pass table comments, field comments, and primary key constraint information. In the future, I plan to upgrade Flink and stick to the latest version. Keep up the good work, and I hope you continue to do better.
主要使用chunjun进行数据同步，sql任务也会使用，使用的flink版本是1.18，使用的最多的数据源是mysql，jdbc，hive，maxcompute，hologress，Kafka，hbase，lindom。实时和离线同步都会使用到，我们的数据架构是双云配合物理hive机房，经常会涉及到云下hive和云上maxcompute或者hologress之间的数据同步，从而代替dataX，实现批量自动建表，不仅仅是单表，分表和整库的同步也要做好，难点在于对于maxcompute这样的数据库而言，自动建表要建delta事务表还是标准表？maxcompute的标准表是不支持主键约束的，这是你们要注意的，我希望自动建表能把表注释和字段注释，主键约束信息也能传递过去。我将来有升级flink并坚持使用最新版本的想法，加油，希望你们越做越好

[taoyameng]

目前主要使用chunjun做数据ETl和数据开发，使用的方式是flinkSQL。主要是实时、全量、离线增量的数据处理，几乎不用cdc。数据源最多的是jdbc。目前flink版本主要使用1.18。

[mcbai]

一、使用背景与场景说明
基于ChunJun构建金融量化场景的全链路数据同步,诉求是解决跨地域（上海云上集群+西安物理机房）数据端到端一致性、传输延迟问题,同时支撑实时模型监测场景的SQL任务运行。
当前技术栈与数据源如下：
Flink 1.14.6、JDK 11、Flink CDC 2.3；
数据源：OceanBase 4.x、MaxCompute、StarRocks、Paimon、DataHub、Pulsar、ADB MySQL,模型监测依赖阿里Lindorm；
使用方式：ChunJun承担离线+实时数据同步（当前近似当作DataX使用）,模型监测场景基于Flink SQL任务实时运行。
二、目前问题

1. 自动建表缺失表/字段注释
   ChunJun自动建表功能可满足基础同步需求,但未同步源表的表注释、字段注释。
2. Catalog能力待扩展
   我们参考Taier将ChunJun封装为工作流后,任务编排效率大幅提升,但ChunJun原生Catalog能力薄弱：无法对接Paimon/MaxCompute/StarRocks/OceanBase等数据源的Catalog,跨地域、跨数据源的元数据管理成本高,难以支撑端到端一致性的元数据同步诉求。
3. 希望社区可以加入 Flink 1.17.x官方支持
   Flink 1.17.x在增量Checkpoint、跨集群Catalog同步、CDC性能优化等方面有显著提升,适配CDC 2.4 后可进一步降低跨地域同步延迟。。
   祝愿袋鼠社区日益成熟、开源生态越做越好。