Spark + ONNX + CANN: 如何提升分布式推理的性能与体验?

王玺源,姜逸坤,黄之鹏

中文演讲 2022-07-30 14:40 GMT+8  #ai

数据处理平台和深度学习框架都在各自的领域中不断发展。通常使用Apache Spark 进行离线数据处理,然后使用各种深度学习框架进行数据推理。用于 DL 推理的简化 API 作为桥梁非常重要。

理想的数据和深度学习推理管道是什么样的?我们将讨论如何使用 Spark 和 ONNX 构建您的 AI 应用程序,Spark 社区改进此管道的现状和初步想法,以及充分利用 Ascend Hardware Platform 的功能。

本次会议将包括以下部分:

  • 如何打通大数据和AI推理的流程?
  • ONNX是什么如何,帮助硬件进行加速使能。
  • 在 Spark 社区中引入“SPIP: Simplified API for DL Inferencing”背景
  • 一个简单的演示来展示它是如何工作的。

本主题帮助您了解在 ONNX 中集成 Ascend Hardware Platform 的最新进展以及 Spark 社区对推理管道改进的初步构想。

Speakers:


王玺源: 华为, 高级软件工程师, 华为计算开源团队高级软件工程师,OpenStack Keystone Committer,目前致力于openEuler 云计算及AI领域的支持和改进。


姜逸坤: 华为, 高级软件工程师, 华为计算开源团队高级软件工程师,Apache Spark Contributor,OpenStack存储项目Committer,目前致力于大数据领域项目的多架构支持和改进。


黄之鹏: 华为, 华为昇腾开源生态总监, 黄之鹏,华为昇腾开源生态总监。担任启智OpenI社区、Linux基金会旗下基金会Linux Foundation Artificial Intelligence (LFAI)、私密计算论坛等开源组织的技术委员会委员, Kubernetes Policy工作组以及CNCF基金会安全兴趣组Policy团队负责人, OpenStack Cyborg项目创始人,带领团队深入参与ONNX, Kubeflow, Akraino等开源社区。曾经在OpenStack Summit、Cloud Native Con/KubeCon等国际顶级开源峰会进行过Keynote主题演讲,此外也在LinuxCon、RISC-V Summit等多个国际峰会进行议题分享。