Support Customized Kubernetes Schedulers: 为Spark on Kubernetes提供更完善的调度能力

姜逸坤,王雷博

中文演讲 2022-07-30 15:30 GMT+8  (ROOM : B) #bigdata

Spark on Kubernetes得到了越来越多的关注和使用,由于Kubernetes对批量调度支持缺乏,导致大数据场景调度经常出现资源死锁的问题,同时,缺乏队列、优先级、资源预留、多样性算力调度等高级能力。本议题将介绍Apache Spark社区Support Customized Kubernetes Schedulers的最新进展和最佳实践。

  • Spark on Kubernetes的现状和挑战
  • Spark社区最新进展:Support Customized Kubernetes Schedulers
  • 通过Volcano,展示Spark on Kubernetes调度能力
  • Demo演示:演示Spark + Volcano的整体功能,队列、优先级、资源预留、多样性算力调度的能力。

Speakers:


姜逸坤: 华为, 高级软件工程师, 华为计算开源团队高级软件工程师,Apache Spark Contributor,openEuler Infra Maintainer, OpenStack存储项目Committer,目前致力于大数据、云计算领域项目的多架构支持和改进。


王雷博: 华为, 华为云容器服务架构师, 华为云容器服务架构师、Volcano 社区 Tech-Leader。先后就职于 Platform computing, IBM 等。拥有十年以上大规模分布式计算、高性能计算领域经验。熟悉云原生、大数据以及AI加速等领域。专注于大规模集群资源管理、调度、作业调度引擎的设计开发。目前主要负责 Volcano 云原生批量计算平台的研发工作。