随着机器学习应用的落地，很多公司模型部署中都面临着对于性能的需求。无论是线上还是线下，都存在着机器选择，参数配置等诸多难题。比如，如何优化 P90/P99的推理性能？怎么解决线下推理的扩展问题？ 在这个session中，我们将介绍几种常见的高性能机器学习系统，并分享一些在实际部署应用中遇到的挑战。同时，我们也会介绍如何更快的排查机器学习的推理问题，以及如何最终提升CPU/GPU的利用率。这些机器学习架构是基于Apache Spark, DeepJavaLibrary, Java Spring等流行的开源框架。

Speakers:

兰青: 亚马逊云科技, 软件开发工程师, Qing是AWS机器学习平台的一个软件开发工程师。他是DJL（djl.ai）的共同作者之一和Apache MXNet的PPMC成员。他于2017年毕业于哥伦比亚大学，获得计算机工程硕士学位。他拥有模型训练和推理方面的专业知识，在广告，大数据领域有很多实战经验。