Apache Ozone如何通过Raft协议建立起高可用性

Li Cheng, Shashikant Banerjee, Nanda Kumar

英文演讲 2021-08-07 14:50 GMT+8  (ROOM : B) #bigdata

Apache Ozone是Hadoop的一个可扩展的、冗余的、分布式的对象存储,在2020年成为Apache顶级项目。S 作为Apache Ozone的早期采用者,腾讯大数据平台已经部署了一个超过1000个节点的Ozone集群作为大数据应用的后台存储。腾讯还利用Ozone作为一些私人数据仓库项目的主要存储解决方案。由于Ozone被大量使用,Ozone的高可用性被列为生产中支持的首要任务。2020年,腾讯工程师与Cloudera工程师合作,在Apache Ratis(Raft实现)的帮助下,为SCM(存储容器管理器)实施Ozone HA。从这个讲座中,听众将了解到。

  1. 为了保持高可用性,Ozone SCM必须做到什么程度的复杂性。
  2. 为什么Ozone决定使用Raft方案来实现单片机HA。
  3. Ozone团队如何使用Raft和Java反射来复制整个SCM组的数据。
  4. Ozone团队如何优化启用HA后的单片机性能。 本讲座也是由腾讯云的Li Cheng,Cloudera的Nanda和Shashikant共同撰写的。他们都是Apache Ozone的PMC,并一直积极为Apache Ozone社区做贡献。

讲师:

Li Cheng: 现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。 Shashikant Banerjee: 软件工程专家,在设计和构建可扩展和高性能的分布式存储系统方面拥有8年以上的经验。 目前,我是Apache Hadoop、Apache Ozone和Apache Ratis社区的提交者和PMC成员。

Nanda Kumar: 软件工程专家,在设计和构建可扩展的分布式存储系统方面有9年以上的经验。 目前是Apache Hadoop和Apache Ozone社区的提交者和PMC成员。