如何在银行当中让更多人受益数据处理

陈卫

中文演讲 2022-07-31 13:30 GMT+8  #workflowdatagovernance

1.backgrand(背景) 随着业务发展,业务深入,数据用户越来越多,从原来的高层,分析师至一线业务人员,如何快速的获取数据分析结果对业务发展越来越重要,通过提供简化的数据加工流程/数据分析工作对一线业务分析人员至关重要,通过优化的数据处理工具/流程协助非技术用户获取业务分析数据并自动化嵌入至数据处理流程中,通过配置化简化数据使用成本。 2.purpose(目标) 让业务用户几乎无代码实现部分数据加工处理逻辑。 3.method(方法) 适当的对现有的工具、工具组合进行合理的封装,仅保留核心流程相关的逻辑处理,其他技术相关的处理流程由系统预设进行处理,从而简化用户操作流程。 封装基于现有调度系统,系统调度系统提供的环境、数据源管理以及任务调度功能进行合理融合。 4.design and implementation(设计与实现) 从数据处理来讲,数据采集、加工、分发三个步骤中,加工最为复杂,但是采集、分发均可采用配置处理方式进行简化优化处理。合理的数据模型设计,将数据模型加工到合理的数据粒度,再通过自动化编码工具处理维度建模后续内容,从而实现数据加工流程的简化,简化数据模型至报表、可视化分析的数据鸿沟。 在此过程中,尤其从模型到数据应用层由用户参与,因此需要工作流系统合理支持配置化作业生产,并自动嵌入至已有工作流进行日常调度执行。 5.benfit and impaction(收益与影响) 数据处理人员更多关注数据处理核心流程、模型,完成后在模型工具的协助下,向用户交互模型数据。用户可以在模型数据的基础上实现自助分析,数据分发等。 6.question(问答)

Speakers:


陈卫: 四川新网银行, 大数据架构师, 11 年工作经验,早期从事数据仓库建设,后转向大数据基础平台、调度系统等建设,有传统金融行业、互联网数据仓库、数据集市建设经验,多年的调度系统建设经验,咪咕文化分析云调度系统设计,报表平台设计,目前主要负责新网银行 DataOps 体系相关系统建设(离线开发,指标系统,标签系统)