Apache YuniKorn(孵化中)最新进展--用于大数据的云原生调度器的现状

Sunil Govindan, Julia Kinga Marton

英文演讲 2021-08-08 14:50 GMT+8  (ROOM : B) #bigdata

Apache YuniKorn (Incubating)是一个轻量级的、用于容器协调器系统的通用资源调度器。它的创建是为了在大规模、多租户和云原生环境中有效实现各种工作负载的细粒度资源共享。YuniKorn为由无状态批处理工作负载和有状态服务组成的混合工作负载带来了统一的、跨平台的调度体验。

作为一个定制的K8s调度器,YuniKorn可以很容易地部署在K8s的内部或云上。在这次演讲中,我们将讨论云原生环境中资源调度的差距,以及YuniKorn如何支持在K8s上运行大数据应用(如Spark/Flink/Tensorflow等)。

我们将分享通过使用Yunikorn的帮派调度支持将Spark工作负载纳入K8s的优势。这是大数据工作负载迁移到云原生生态系统的最大亮点之一。我们还将分享YuniKorn如何在社区合作伙伴中使用,如苹果、Aplibaba、Cloudera等。

讲师:

Sunil Govindan:Sunil主要致力于资源调度,并研究Kubernetes和YARN大数据工作负载调度。他从2013年开始为Apache Hadoop项目做出贡献,担任Hadoop贡献者、Hadoop承诺者和项目管理委员会(PMC)的成员等各种角色。主要致力于YARN调度的改进/YARN的多资源类型支持等。他还担任Apache Submarine PMC成员,Apache YuniKorn(孵化中)PMC成员。

Julia Kinga Marton。Kinga是Cloudera的一名软件工程师,最初她加入了Apache Oozie团队。她是Apache Oozie的提交者和PMC成员。在2020年初,她加入了YuniKorn团队,并在2020年夏天成为Apache YuniKorn(孵化)的提交人。在Cloudera之前,她在汉莎系统公司工作,为航空公司的重量和平衡解决方案作出贡献。