基于Apache Flink的金山云实时计算平台实践与防疫场景下的应用

郑舒力

中文演讲 2022-07-29 16:50 GMT+8  #streaming

金山云实时计算平台始建于2015年初,旨在构建一站式实时计算开发平台,降低开发运维人员直接使用开源引擎的学习与运维门槛,提升开发效率。平台底层依托于Apache Flink,提供开发,测试,部署,运维一站式构建实时计算应用的能力。目前在金融、医疗、互联网等行业服务于大量的企业级客户 。本次分享整体将分为两部分,第一部分介绍金山云实时计算平台在产品以及架构层面的实践与思考。 第二部分将介绍在某市防疫专题大数据建设背景下,如何利用Apache Flink计算引擎的能力,提升各类防疫数据产出的时效性,并依托于金山云实时计算平台,快速响应各类防疫数据的实时计算需求。为防疫部门大屏实时数据展示以及各项防疫工作提供更为实时的数据支撑。

分享提纲: a. 金山云实时计算平台的发展历程 b. 实时计算平台产品架构与核心功能介绍 c. 实时计算平台技术架构介绍 d. 核心功能实现原理介绍 e. 防疫场景下的应用 f. 未来发展

分享要点: 完整介绍实时计算平台的产品形态与技术架构。深入介绍Flink On K8S,在线故障诊断等平台核心功能实现思路。介绍防疫背景下对实时计算的需求,以及如何利用ApacheFlink在金山云实时计算平台上快速实现这些需求,提供稳定的实时计算数据出口。

Speakers:


郑舒力: 金山云, 研发专家, 10+年分布式系统与大数据实时计算业务与平台研发经验,2015年加入金山云,一直从事实时计算相关工作,现为金山云大数据部实时计算平台部负责人,主要负责金山云实时计算平台与数据采集平台的架构与产品设计,核心模块研发以及疑难问题解决;擅长复杂分布式系统性能调优与可用性提升;专注于Flink实时计算技术和大数据平台架构,乐于推广与布道实时计算相关技术。 DTCC(中国数据库技术大会) 2021讲师