Hadoop云存储连接器-过去,现在和未来!
Mukund
英文演讲 2022-07-29 15:30 GMT+8 (ROOM : B) #bigdataS3A和ABFS云连接器被Hive和Spark等系统广泛使用,同时在S3和Azure等公共云上运行工作负载。 在这次演讲中,我们将讨论Apache Hadoop中云存储(Aws和Azure)模块的多种增强,比如Aws宣布的一致S3导致了S3Guard时代的结束,我们所做的列表优化使S3的列表更快,以及引入了新的api,比如Hadoop中的open file和io统计以及对S3A连接器的支持。我们还将讨论在Azure连接器中完成的惰性查找和预读读取优化
Speakers:
Mukund: Cloudera, 软件工程师的工作人员。, 我是Apache Hadoop项目的活跃提交者,目前在Cloudera工作,专注于云存储连接器(aws、azure和gcs)和Ranger Authorization。
我有8年的大型分布式系统设计和开发经验。除了软件开发,我还喜欢做瑜伽和在喜马拉雅山徒步旅行。