在Apache Nemo上对数据处理进行灵活优化和高效执行

Won Wook SONG

英文演讲 2021-08-08 15:30 GMT+8  (ROOM : B) #bigdata

针对资源和数据特点优化分布式数据处理的调度和通信,对于实现高性能至关重要。在这个讲座中,我们介绍了Apache Nemo,一个用于分布式数据流处理的优化框架,它为高性能提供了精细的控制,同时也确保了正确性,使用户体验更轻松。在讲座中,我们提供了一个演示,展示了一个Apache Beam程序在我们的分布式数据处理系统中运行的执行流程。我们展示了程序是如何被Nemo中间表示法包裹的,该表示法可以实现编译器优化通道和运行时扩展,并展示了优化是如何在数据流应用中轻松灵活地应用的。我们还对基于优化的评估结果做了比较。

讲师:

Won Wook SONG: Won Wook(发音为won-ook)是首尔国立大学的博士生,由Byung-Gon Chun教授指导。他的主要研究兴趣在于大数据和分布式系统,同时他对机器学习系统也有兴趣。他目前在微软亚洲研究院进行实习。他自2017年以来一直致力于Apache Nemo项目,是建立该系统的最初成员之一。他一直在Apache Beam峰会和一些国内会议上发表演讲,这些会议由位于韩国的科技公司主办。