如何成为流处理工程师

Timothy SPann

英文演讲 2022-07-29 14:50 GMT+8  #integration

将构建流数据管道的能力大众化,将有助于让每个需要流数据的人能够自己动手。我们可以通过利用被称为FLiPNS的开源流处理堆栈来实现这一点。

FLiPNS是Apache Flink、Apache Pulsar、Apache Spark和Apache NiFi的栈。Apache NiFi为cse提供了一个Web UI来构建他们自己的数据管道。这些应用程序可以用来获取数据、路由、转换、加工、连接和存储数据。作为这些应用程序的一部分,Pulsar将为ML模型访问提供一个流数据集线器,并插入额外的处理组件。

Speakers:


Tim Spann是StreamNative的开发者布道师。他的工作涉及StreamNative Cloud, Apache Pulsar, Apache Flink, Flink SQL, Apache NiFi, MiniFi, Apache MXNet, TensorFlow, Apache Spark,大数据,物联网,机器学习和深度学习。Tim在物联网、大数据、分布式计算、消息传递、流媒体技术和Java编程方面拥有超过十年的经验。此前,他曾担任Cloudera的首席数据流现场工程师、Hortonworks的高级解决方案工程师、AirisData的高级解决方案架构师、Pivotal的高级现场工程师和HPE的团队领导。他是DZone的博客作者,在那里他是大数据区域的领导者,并在普林斯顿举办了一个关于大数据、云、物联网、深度学习、流媒体、NiFi、区块链和Spark的流行聚会。Tim经常在ApacheCon、DeveloperWeek、Pulsar Summit等会议上发表演讲。他拥有计算机科学学士和硕士学位。