FlinkSQL的字段血缘及数据权限解决方案

白松

中文演讲 2023-08-18 15:00 GMT+8  #streaming

数据血缘和数据安全是搭建企业级数据仓库不可或缺的能力。近年来随着各行各业对大数据实时化的需求越来越强烈,以 Flink 为代表的实时数仓快速兴起,但由于发展时间相对较短,离线数仓领域基于 Apache Ranger 和 Apache Atlas 相对成熟的数据血缘和安全解决方案尚未支持 Flink SQL,且依赖 Ranger 和 Atlas 会导致系统部署和运维过重。 因此,如何在对 Flink 和 Calcite 源码零侵入的前提下实现 FlinkSQL 的字段血缘及数据权限管理,就显得尤为重要。本次分享将详细介绍相关解决方案,帮助听众打造 Flink 实时数仓领域的 Atlas+Ranger。

Speakers:


白松: 杭州数澜科技有限公司, 研发中心副总经理, 数澜科技公司联合创始人、研发中心副总经理,拥有9年大数据平台研发经验,专注于大数据、实时计算、数据权限等领域的研究。负责公司核心产品数栖平台和数栖EMR的产品研发工作,目前数栖产品已成为国内外数百家公司建设数据中台的基础设施工具,例如中信集团、富士康、万科、宝马、浙江交投集团等。