Apache Flink 流批自适应 Shuffle

宋辛童,谭玉新

中文演讲 2023-08-18 13:30 GMT+8  #streaming

在 2022 年的 Flink Forward Asia 上,我们首次提出了以云原生、流批融合、自适应为核心的 Flink Shuffle 3.0 架构。

新的 Shuffle 架构具有以下优势: ‒ 更加适应云原生环境的资源编排与隔离特点 ‒ 兼具传统流式与批式 Shuffle 技术的优势 ‒ 能够根据运行时的资源与负载情况做出自适应调节,更加易用

本次分享,我们将介绍 Flink 1.18 版本在这方面取得的最新进展与未来规划。

Speakers:


宋辛童: 阿里云, 高级技术专家, Apache Flink PMC Member & Committer,阿里云高级技术专家,阿里云 Flink Shuffle & SDK 团队负责人。


谭玉新: 阿里云, 高级开发工程师, 就职于阿里云计算平台开源大数据部门,专注于 Apache Flink 开源项目。