腾讯云Hadoop-COS上的数据湖加速器

Li Cheng

英文演讲 2021-08-08 14:10 GMT+8  (ROOM : A) #bigdata

腾讯云的新玩法,Hadoop-COS上的数据湖加速器GooseFS

自从2019年COS作为腾讯云对象存储解决方案向Hadoop社区提交Hadoop Capatible FS plugic Hadoop-COS后,腾讯云就全速在腾讯COS上支持数据湖。 2021年,腾讯COS用多层加速器GooseFS将Hadoop-COS武装起来,这不仅大大提升了COS在Hadoop生态中的性能,也让腾讯COS与大数据、AI平台的凝聚力更强。从讲座中,观众将了解到:

  1. GooseFS如何帮助腾讯云平台与EMR和K8s的凝聚力。
  2. 2.新的Hadoop-COS带来的透亮的IO性能加速。
  3. 3.GooseFS如何加载命名空间级缓存和表级缓存。
  4. 新Hadoop-COS带来的腾讯云存储的数据湖解决方案。

新Hadoop-COS中的GooseFS是一个分布式缓存解决方案,它可以与EMR和K8s一起原生部署。GooseFS支持内存、SSD和HDD等缓存选项以及多种缓存策略。 GooseFS目录还支持缓存加载表级缓存,如Hive表的表ID和表分区。此外,Hadoop-COS上的GooseFS将支持Iceberg表和按版本加载。 为了扩大数据湖的领域,还有很多令人兴奋的功能腾讯云正在建立。

讲师:

Li Cheng: 现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。