下一代超高性能大数据集成工具 - Apache SeaTunnel 在数据湖场景的应用

代立冬

中文演讲 2023-08-19 14:30 GMT+8  #datalake

当今数据源多达几百种,来源不仅有关系型和非关系型数据库,还有 SAAS、日志及接口数据等,离线批量同步已不能满足业务需求,越多越多的业务要求实时同步,如何让这些数据源之间可以快速高效进行离线和实时同步,且做到数据一致性及完善的监控同时占用最少的资源,这是对数据集成的一个极大的挑战

解决思路: 利用 Apache SeaTunnel 数据同步管道结合 SeaTunnel 自己专用同步引擎 Zeta 来解决集成难问题,同时可以以尽可能低的资源完成数据同步,对于大规模的数据集成同步提供更优的表现。

听众收益 1、Apache SeaTunnel 功能与架构设计 2、为何研发 SeaTunnel 自己的同步引擎 Zeta、而不是选择基于 Spark/Flink? 3、用户使用案例及后续 Roadmap 等内容

Speakers:


代立冬: 白鲸开源, 白鲸开源联合创始人、Apache SeaTunnel PMC member, 白鲸开源联合创始人、 Apache SeaTunnel PMC & Apache DolphinScheduler PMC、Apache 孵化器导师