安全的Apache Hadoop集群的技术诀窍

Akira Ajisaka, Kei KORI

英文演讲 2021-08-08 13:30 GMT+8  (ROOM : A) #bigdata

众所周知,Apache Hadoop在默认情况下是不安全的,如果不启用Kerberos,很容易冒充有特权的用户。在本讲座中,我们将进一步介绍有关安全的技术细节。我们将以厂商中立的方式谈论目前一些安全功能的 “开源 “软件能力。我们主要介绍Hadoop及其相关产品(Apache Spark, Apache Hive, Apache ZooKeeper等)的SSL/TLS,并介绍HDFS数据加密。关于HDFS数据加密,我们实现了Hadoop Credential Provider API,将Hadoop KMS与我们的内部凭证存储集成,以存储用于加密/解密数据的加密密钥的秘密。我们还介绍了HDFS数据加密的内部情况以及如何创建你的自定义凭证提供者。

此外,我们将介绍自动重载钥匙库,这是Apache Hadoop的最新功能,它可以在不停止服务器的情况下更新SSL证书。该功能对操作很有用。

讲师:

Akira Ajisaka: Akira Ajisaka是雅虎日本公司的一名高级软件工程师。他开发和验证Apache Hadoop的一些新功能供我们使用。此外,他还负责排除故障并改善我们Hadoop集群的管理/操作。他作为Apache Hadoop/Yetus committer和PMC成员,维护Apache Hadoop以提高其质量。

Kei KORI: Kei KORI是雅虎日本公司Hadoop开发团队和Kubernetes团队的一名数据平台工程师,他致力于提供安全的Hadoop集群和用户生态系统。他在Hadoop集群和Kubernetes集群的管理方面有多年的经验,擅长分布式系统的自动化和持续交付。