用Apache Ignite、Python和Julia进行可扩展的机器学习:从原型到生产

Peter Gagarinov

英文演讲 2021-08-06 15:30 GMT+8  #middleware

Apache Ignite整合了一个可扩展的、高效的机器学习(ML)框架,能够在Apache Ignite节点上进行数据转换、ML模型训练和推理(无需数据离开集群)。然而,有时数据大小和数据传输成本方面的可扩展性并不像并行请求的数量和使用Python和Julia实现的外部更复杂模型的能力那样重要。

在这次演讲中,Peter Gagarinov分享了他将Apache Ignite与外部机器彼得框架集成的经验。以一个基于ML的自动问题管理系统(Alliedium)为例,Peter展示了如何依靠Apache Ignite和来自Python和Julia生态系统的ML框架来高效地完成构建分布式可扩展服务的业务任务。在他演讲的第二部分,Peter介绍了一个轻量级的Apache Ignite数据迁移工具,该工具是针对Alliedium的需求在内部开发的。

讲师:

Peter Gagarinov:Peter是一个充满激情的开源爱好者,专注于机器学习和分布式计算系统。 Peter致力于为各种项目担任顾问,并在Alliedium担任产品经理和软件架构师。Alliedium建立并提供一个基于ML的自动问题管理系统,并为Atlassian Jira提供缺陷分类和错误处理服务。Peter在软件开发、架构、机器学习以及金融和电力市场的应用数学建模方面有18年的经验。