Flink Table Store:流式数仓架构与场景

李劲松

中文演讲 2022-07-31 14:50 GMT+8  (ROOM : A) #bigdata

Flink Table Store 是一个为流式数仓打造的流批统一的存储,用于在Flink中为流批处理建立动态表,支持实时流消费和实时OLAP查询。 Flink Table Store 已经发布了第一个前瞻版本,但是缺少了生态和稳定性的不少工作。 目前我们已经开始研发第二个版本,我们希望第二个版本能够带来更多的生产能力,通过此次分享你可以了解到我们通过加强哪些方面来提高存储的可靠性和生态。 另外,我也会分享后续的架构,Service版本,它如何达成统一的流仓的存储,它又解锁了哪些场景。

Speakers:


李劲松: 阿里巴巴, 技术专家, 目前就职于阿里云开源大数据,长期从事分布式流 / 批处理系统领域的工作,也对数据湖和 OLAP MPP 有一些研究。我是 Apache Beam / Flink / Iceberg 的 Committer,对底层调度、通信机制、用户模型、SQL 流批计算、存储有一定了解。目前专注于 Flink Table Store 项目的开发,希望给 Flink 带来一个最适合的存储。