Apache Kyuubi & Celeborn(Incubating): 助力 Spark 拥抱云原生

潘成

中文演讲 2023-08-18 15:45 GMT+8  #datastorage

在过去数年中,网易在大数据云原生领域进行了长足的探索。

本次演讲围绕如何基于 Apache Kyuubi & Celeborn 等开源技术,构建企业级 Spark on Kubernetes 云原生离线计算平台展开,包含技术选型、架构设计、经验教训、缺陷改进、降本增效等内容,深入剖析网易在该领域的探索成果。

Speakers:


网易数帆软件工程师,Apache Kyuubi PMC 成员,Apache Celeborn (Incubating) PPMC 成员。主要从事企业级离线计算引擎开发、Apache Kyuubi 开源社区建设等工作。