基于Apache Hudi的数据湖上的Dolphin调度器的实践

Zhao Yuwei

英文演讲 2021-08-07 15:30 GMT+8  #workflowdatagovernance

数据湖是一个企业级的数据管理平台,用于分析不同类型的数据源。数据湖架构确保了多种数据源的整合,并支持多种数据模式,以确保数据的准确性。它可以满足实时分析的需要,也可以作为数据仓库,满足批量数据挖掘的需要。 因此,我们需要一个高效、稳定且易于扩展的任务调度系统来协调数据湖的外部能力,如数据摄取、数据存储、数据探索、数据发现、数据治理等。 在这里我将分享我们为什么选择Apache Dolphin Scheduler作为任务调度系统,以及我们如何让数据用户轻松地与数据湖互动,而不必关注太多的技术细节

讲师:

Zhao Yuwei: 从事Hadoop相关的开发工作,目前主要工作方向是任务调度系统的研发。