结构化的数据流

Shivji Kumar Jha

英文演讲 2021-08-08 14:10 GMT+8  #streaming

类型安全在任何围绕流/队列构建的应用程序中都是极其重要的。类型定义和演化可以在应用程序中构建,也可以依赖数据层来支持,从而使得应用程序只关注业务逻辑,而无需关注数据存储和演化的方式。正是这种特性使得传统关系型数据库在现代NoSQL数据库的挑战中依然屹立不倒。在现代软件架构中,异步通信(通过流/队列)是必不可少的。当数据存储和查询设计随着异步通信而改变时,类型安全依然非常重要。

在本次演讲中,我们将讨论在流数据上建立结构(schema)的方法,并以 Apache Pulsar 作为示例。 Apache Pulsar 为结构化流处理提供服务器端和客户端支持。我们已经在生产中使用 Pulsar 在微服务之间进行异步通信超过1.5年。

这篇演讲介绍了关于什么是 Schema、如何表示 Schema、Apache Pulsar 服务器和客户端提供了什么、我们如何使用 Pulsar 的 schema 支持来构建我们的用例以及从中获得的经验和技术细节。

讲师:

Shivji Kumar Jha: Shiv是Nutanix的高级软件开发人员,在beam团队工作,帮助Nutanix客户将混合云使用的云成本和安全风险降到最低。Shiv喜欢花时间在数据存储(数据库、数据流、分析等)上,并为MySQL和pulsar代码库做出了贡献。Shiv是一个狂热的读者(科技、小说、经济学等),并一直在寻找简化软件架构的方法。