Kyuubi: 网易对 Serverless Spark 场景的探索与实践应用

Kent Yao (姚琴)

中文演讲 2021-08-06 14:50 GMT+8  (ROOM : B) #bigdata

本次主题主要涵盖网易开源大数据组件 Kyuubi 项目的架构、实现原理及应用场景进行介绍,并通过实际案例展示 Kyuubi 在网易内部帮助业务实现 Serverless Spark 能力及对应过程与思考。 案例: 1)实现 Hive QL 至 Spark SQL 无缝迁移,整体实现6~8倍性能提升 2)对 YARN 和 K8S 集群混合部署,实现业务平滑迁移,弹性上云,融合调度的需求

同时,介绍在这个过程中我们是如何直接参与在 Spark 开源社区中,同步完成对应的问题处理和特性优化的。

讲师:

姚琴:Kyuubi项目的主要作者/Apache Spark Committer/Apache Submarine Committer。@网易大数据团队