使用Apache C *,Spark和Pulsar实现大数据之Lambda架构

孟亚斌

中文演讲 2021-08-08 14:10 GMT+8  (ROOM : B) #bigdata

Lambda 架构是大数据中一个通用的数据处理框架。在本次演讲中,我们首先对大数据Lambda架构做一个简单的介绍。然后我们把重点放在怎样把Apache基金会的3个顶级项目(Cassandra数据库,Spark数据处理引擎,以及Pulsar流数据处理)有效的整合在一起以实现一个分布式的, 高可用性,线性扩展的Lambda架构。最后我们会以一个IoT传感器的示例程序来演示这个架构实现。

讲师:

孟亚斌: 孟亚斌是DataStax的先锋架构师。近年来,他的重点主要是大型,分布式数据库和流处理系统解决方案的设计和咨询。加入DataStax之前,他的职业生涯大部分时间都集中在关系型数据库,数据仓库,商业智能,NoSQL数据库,以及大数据领域中的系统设计,实现,和咨询。