联通基于Apache StreamPark的大规模实时计算生产实践

穆纯进

中文演讲 2023-08-18 14:30 GMT+8  #streaming

1.大数据实时计算平台支持基于事件的低延迟处理以及流批一体的数据处理,支撑了30+内部和外部组织的实时化业务和10000+的数据服务订阅,每天处理2.3万亿条数据、600TB+数据量,集群规模独享480+服务器,服务了十几条业务生产产品线 2.基于Apache StreamPark一站式的面向实时计算作业的管理平台,支撑了生产环境500+Flink ON YARN实时计算作业管理,通过可视化的简洁的操作流程完成了项目管理、作业管理、团队管理、权限管理、告警管理、日志管理、版本管理、集群管理、资源配置、Flink JAR、Flink SQL、监控大屏等管理功能,实现了实时作业全生命周期管理,帮助团队解决了作业运维泥沼、提升了管理效率、减低了故障率、提高了业务支撑质量,全面实现了实时计算的一体化、平台化的管理

Speakers:


穆纯进: 联通数字科技有限公司, 大数据实时计算平台研发负责人, Apache StreamPark PMC、大数据实时计算平台研发负责人,负责万亿级Flink实时计算开发、运维以及平台建设