使用Apache Kafka、Druid和Superset在数据流上制作交互式实时仪表盘

Nishant Bangarwa

英文演讲 2021-08-08 16:10 GMT+8  #streaming

为了获得流畅的分析大屏交互体验,快速的响应时间和数据的实时性是两个关键要求。如何选择合适的技术栈以在流式数据上创建快速交互式BI大屏,是公司和组织难以决策的问题。

本文介绍了一个使用 Apache Kafka、Apache Druid 和Apache Superset 的开源实时数据分析技术栈。该技术栈将 Kafka 的低延迟流处理功能与 Druid 的低延迟查询能力结合起来。Superset 提供了可视化和仪表板,能够与 Druid 很好地集成。在本次演讲中,我们将讨论为什么这种体系结构非常适合于流式数据上的交互式应用程序,展示完整技术栈的端到端演示,讨论其关键特性,并讨论生产实践中的性能特征。

演讲议程如下:

  • 综述和典型用户场景
  • 整体架构
  • 演示
  • 基于 Apache Kafka 搭建流处理平台
  • Druid 作为服务层
  • 作为可视化层的Superset
  • 技术栈关键特性
  • 性能测试结果

讲师:

Nishant Bangarwa: Nishant是Rilldata的联合创始人和工程主管。他是一个活跃的开源贡献者,是Apache Druid和Apache Superset的PMC成员。他也是Apache Calcite和Apache Hive的committer。在创办Rilldata之前,他是Cloudera的数据仓库团队和Metamarkets Druid团队的一员,负责管理大规模的Apache Druid部署。他拥有印度Kurukshetra国家理工学院的计算机科学学士学位。