腾讯广告 Flink 实战:特征生产、训练样本、策略计算

林立伟

中文演讲 2022-07-29 16:10 GMT+8  #streaming

腾讯广告业务的流式计算引擎,正从 Apache Spark(Spark Streaming)逐步切换为 Apache Flink。在本次演讲中,我们会介绍我们在特征生产、训练样本、策略计算的业务场景,以及在 Spark Streaming 切换 Apache Flink 过程中的一些挑战、经验和教训,包括我们对海量数据(40 TB)场景下、对 Flink 内核做的一些升级优化,使得能够满足 40TB 大状态异常快速恢复、流为批用(并非流批一体)等特性。

Speakers:


林立伟: 腾讯科技(北京)有限公司, 腾讯广告特征生产、样本数据、策略框架技术负责人, 林立伟,腾讯广告特征生产、样本数据、策略框架技术负责人,腾讯广告 Spark、Flink 负责人;10 年大数据经验,Apache Spark / Apache Flink 开源社区活跃贡献者,《Spark Streaming 源码解析系列》(Github star 3k+)作者。