BIGO 的 Apache Pulsar 最佳实践

Hang Chen

中文演讲 2021-08-06 14:50 GMT+8  #messaging

在人工智能技术的支持下,BIGO 推出的视频产品和服务已经获得了巨大人气,用户遍布全球 150 多个国家地区,如 Bigo Live(直播)和Likee(短视频)等。Bigo Live 在150 多个国家地区提供服务,Likee 有 1 亿多用户,在 Z 世代中很受欢迎。

在过去的几年里,我们部署了大量 Kafka 集群来进行支持实时 ETL 和短视频推荐。Apache Pulsar 的分层架构和诸多新特性如低延迟、水平扩展、多租户等帮助我们解决了生产中的很多问题。我们已经采用 Apache Pulsar 构建消息处理系统,特别是在实时ETL、短视频推荐和实时数据报告方面。

在这个演讲中,我将分享我们使用 KoP(Kafka on Pulsar)的经验,探讨如何从 Kafka 无缝迁移到 Pulsar,特别是在提高性能和稳定性方面。我还将分享 Apache Pulsar 在 BIGO 的其他主要应用场景,比如数百万量级主题、实时机器学习,以及与 Flink 和 Flink SQL的集成。

讲师:

陈航: 陈航,Apache Pulsar Committer ,BIGO Staff级工程师,是BIGO消息平台团队的负责人,负责创建一个集中的pub-sub消息平台,该平台提供大量的服务/应用流量。他将Apache Pulsar引入BIGO消息平台,并与上游和下游系统如Flink、ClickHouse和其他内部系统集成,进行实时推荐和分析。他专注于Pulsar的性能调整,新功能开发和Pulsar生态系统的整合。