自如基于Apache StreamPark的大规模On Kubernetes实时计算生产实践深度解析

陈卓宇

中文演讲 2023-08-19 14:00 GMT+8  #streaming
  • 在此次演讲中,我们将深度探讨如何借助Apache StreamPark——一站式实时计算作业管理平台, 精细化管理自如超过300个Flink On Kubernetes 实时作业。Apache StreamPark为我们提供了一套直观的可视化界面,协助我们管理了众多关键功能,包括 Flink 作业的开发,作业部署到 Kubernetes,Flink Docker镜像管理、Flink Kubernetes Pod Template管理等。

  • 我们基于StreamPark 也探索出了一些创新实践:我们进一步与调度系统结合,实现了基于FlinkSQL的离线数据同步,从而优化了数据处理过程。 通过Apache StreamPark,我们实现了实时作业的全生命周期管理,开发和管理人效都得到极大提升。这个过程生动展现了实时计算平台化管理的强大能力和其在实际生产环境中的巨大价值。

Speakers:


陈卓宇: 自如, 大数据平台研发工程师, Apache StreamPark PPMC 成员