Apache DolphinScheduler与云对象存储的对接与整合

程鑫

中文演讲 2023-08-20 15:00 GMT+8  #dataops

对象存储是一种以非结构化格式存储和管理数据的技术,是数据湖场景下的理想存储方案。Apache DolphinScheduler作为一个云原生大数据工作流调度平台,与当今主流的云对象存储(Amazon S3, Google Cloud Storage, Aliyun OSS等)都进行了对接与整合。本次演讲主要分享Apache DolphinScheduler在资源中心的文件存储和任务日志的远程存储两个场景下,如何与云对象存储进行对接与整合。

Speakers:


程鑫: 阿里云, 研发工程师, 任职于阿里云EMR数据开发团队,基础平台研发工程师,硕士毕业于清华大学,Apache DolphinScheduler Committer。