APACHE LINKIS 在湖仓一体架构下的数据处理实践
王华磊
中文演讲 2023-08-18 15:00 GMT+8 #datalake主要分享邮储银行作为一家大型国有银行,在湖仓一体架构下,如何结合Linkis解决实际面临的问题,以后后续的发展展望。议题提纲初拟如下:
-
邮储银行大数据湖仓一体架构
-
实施中面临的问题 2.1 技术组件多,基础环境维护复杂 2.2 技术有难度,数据开发技术门槛高 2.3 流批一体架构下,组件版本升级快 2.4 不同算引擎的元数据互通存在障碍
-
Apache Linkis的具体实践 3.1 实现计算组件的底层对接,对外提供统一接口调用 3.2 优先使用纯sql开发 3.3 实现同一组件多版本支持 3.4 统一使用Hive Catalog,对外提供统一元数据接口
-
参与Apache linkis社区共建 4.1 数据访问层增加Postgresql支持 4.2 文件存储曾S3支持 4.3 容器化部署实践。
-
未来技术规划 5.1 基于Linkis加强对Iceberg等数据湖技术的管理功能
Speakers:
王华磊: 中国邮政储蓄银行, 副主任工程师, 多年银行大数据领域数据架构经验,开源爱好者,Linkis社区贡献者。