在Apache druid中分析事务性数据

Vijay Narayanan

英文演讲 2021-08-07 13:30 GMT+8  (ROOM : A) #bigdata

Apache druid是一个用于实时分析的平台。由于druid不支持行级更新,因此在druid中处理围绕一个恒定主键变化的事务性数据是具有挑战性的。本次会议将重点讨论如何在druid中处理这些数据,并使用druid对这些数据进行传统的OLAP分析和用户行为/漏斗分析。 1)对交易数据进行OLAP分析–有两种方法可以做到这一点(这类问题通常表现在像 “上个月有多少交易完成?”的问询上)一种是使用druid函数从这些数据中检索最新/最早的信息。第二种方法是使用kafka保存交易的当前时间信息,并将其作为druid中的查询。 2) 漏斗分析 - 这用于用户行为分析,重点是回答诸如 “有多少用户完成了注册过程中的所有4个步骤?“的问题。为交易数据及时存储事件,可以在druid中进行这样的分析。我们将为处理顺序不重要的漏斗和顺序重要的漏斗制定一些方法。

讲师:

Vijay Narayanan: Vijay在数据领域有大约15年以上的经验。Vijay目前是Imply(Imply为开源的druid提供商业企业支持)的一名现场工程师。在这个职位上,Vijay专注于帮助亚太地区的客户使用Imply平台(基于Apache druid)。在Imply之前,Vijay在cloudera工作了两年,帮助cloudera合作伙伴定位和使用cloudera平台。在Cloudera之前,Vijay在Informatica工作了10年,他是为Informatica云提供连接的团队的一员。