联邦跨平台SQL与Apache Wayang

Kaustubh Beedkar

英文演讲 2023-08-20 14:00 GMT+8  #olap

联邦查询处理支持跨多个数据源进行分布式查询处理,从而消除竖井并改进数据可访问性。它允许组织作为一个统一的虚拟数据库无缝地查询和分析不同的数据库或系统。通过利用联邦查询处理,企业可以从分布式数据源获得更深入的见解,而数据仍保留在其原始位置。这种方法简化了数据集成,增强了治理,并支持明智的决策。

在这次演讲中,我将介绍如何使用Apache Wayang实现联邦跨平台查询处理。Apache Wayang(孵化)是一个可扩展的跨平台系统,它将应用程序与数据处理平台分离,因此它将开发人员从为特定平台开发应用程序中解放出来。它在现有数据处理平台(如Apache Spark和Apache Flink)之上提供了一个抽象层,目的是实现跨平台优化和互操作性。它自动为给定的任务选择最佳的数据处理平台,并处理跨平台执行。Apache Wayang的核心是一个跨平台优化器来实现这一点。

为了启用联邦SQL分析,我们在Wayang之上构建了一个库,为跨平台SQL处理提供统一的SQL接口。SQL库允许用户在他们的跨平台应用程序中嵌入SQL查询。我将讨论如何利用Apache Calcite来支持跨平台SQL。在Wayang中集成Calcite的主要好处是平台独立性和机会性跨平台数据处理。与方解石集成的Apache Wayang形成了一个强大的系统,能够以与平台无关的方式进行联邦数据处理。

Speakers:


Kaustubh Beedkar: 德里印度理工学院, 助理教授, ——经验 [2023年4月至今]印度理工学院助理教授,德里 [2023年5月—至今]Apache软件基金会的提交者和PPMC Apache Wayang [2022年至今]Databloom AI联合创始人 [2021年6月至2023年3月]柏林学习与数据基础研究所(BIFOLD)初级研究员 [2017年6月- 2023年3月]德国柏林工业大学高级研究员 [2014年10月- 2016年12月]德国曼海姆大学研究员 [2012年4月- 2014年9月]德国马克斯-普朗克信息学研究所研究员 [2011年7月- 2012年4月]德国马克斯-普朗克信息学研究所访问学者

——教育 [2017]德国曼海姆大学计算机科学博士 [2008]计算机科学硕士,美国佐治亚理工学院,美国 [2007] B.Tech。印度阿姆里塔大学信息技术专业