FLaNK技术栈与Flink的流式处理使用案例

Timothy Spann

英文演讲 2021-08-08 14:50 GMT+8  #streaming

如今,数据是在网络、云和数据中心边缘的设备和容器中生成的。在开始实时流处理之前,我们需要在端侧运行业务逻辑、分析和深度学习。幸运的是,通过 Apache FLaNK 和 FLiP 技术栈,我们可以轻松地完成这一点!使用MiNiFi,我们可以摄取数据、执行数据检查、清理、运行机器学习和深度学习模型,并将数据实时路由到 Apache NiFi 和 Apache Pulsar 以进行进一步的转换和处理。Apache Flink 将通过 Apache Pulsar topic 提供实时数据写入能力。Apache MXNet 模型将通过 Apache NiFi 和 MiNiFi 在端侧和数据中心运行。

涉及的软件包括:Apache Flink、Apache Pulsar、Apache NiFi、MiNiFi、Apache MXNet

讲师:

Timothy Spann: Tim Spann 是 StreamNative 的工程师和布道师,他从事 Apache Pulsar,MiniFi,Apache NiFi,Apache Flink,Apache MXNet,TensorFlow,Apache Spark,大数据,物联网,机器学习和深度学习。Tim 在物联网、大数据、分布式计算、流媒体技术和 Java 编程方面有超过十年的经验。在此之前,他是 Cloudera 的首席现场工程师、AirisData 的高级解决方案架构师和 Pivotal 的高级现场工程师。他为 DZone 写博客,在那里他是大数据区的领导者,并在普林斯顿举办了一个关于大数据、物联网、深度学习、流媒体、NiFi、区块链和 Spark 的流行聚会。Tim 作为讲师参加过大量会议,例如 IoT Fusion、Strata、ApacheCon、柏林数据工程峰会、悉尼数据工程峰会和 Oracle Code NYC 等。他拥有计算机科学的学士和硕士学位。

https://www.datainmotion.dev/p/about-me.html

https://dzone.com/users/297029/bunkertor.html

https://dev.to/tspannhw