基于FlinkSQL的小米实时数据集成实践

胡焕

中文演讲 2022-07-29 14:10 GMT+8  #streaming

在本次演讲中,我们将介绍小米在推进数据湖架构的过程中,在实时数据集成上面临的挑战,以及我们对实时数据集成的思考和实践。 小米在2021年开始推进数据湖架构,实时数据集成作为数据湖生态的关键一环,在流批一体、Schema Evolution、异构数据系统集成、断点续传等特性上面临诸多挑战,本次演讲将介绍小米基于 Flink SQL 和 Flink CDC 尝试孵化的实时数据集成引擎,以及在数据湖实时数据集成的实践。

Speakers:


胡焕: 小米集团, 高级软件工程师, 小米集团计算平台高级工程师,数据集成领域负责人,目前在主导和孵化基于Flink SQL和Flink CDC的数据集成引擎,在大数据开发领域有8年的从业经验。