对于用户来讲,只要有 Flink 客户端,通过上图的操作就可以提交整库同步作业。支持传入 Flink 的配置,比如并发设置、Checkpoint 间隔等,也支持正则表达式去配置需要同步的表, 同时可以将 Flink CDC Source 和 Doris Sink 的配置直接透传给具体的 Connector。通过这种方式,用户可以很便捷地提交整库同步作业。
Flink-Doris-Connector 核心优势
基于以上优化,可以完美解决用户的痛点:
自动建表,即存量表与增量表的自动创建,无需用户提前在 Doris 中预先创建对应的表结构;
自动映射上下游字段,无需手动写入上下游字段间的匹配规则,节省大量人力成本;
增减列无感同步,及时获取上游 DDL 语句并自动在 Doris 中实现毫秒级 Schema Change,无需停服、数据同步任务平稳运行;
开箱即用,降低学习成本,更专注业务本身。
最佳实践
在生产环境中,若作业数量较多,直接采用上述提交方式的作业管理复杂度较高。通常建议借助任务托管平台(如 StreamPark),实现对作业的统一创建、监控与运维,从而提升任务管理效率与系统稳定性。