DevLake 是一款开源的研发数据平台，提供自动化、一站式的数据收集、分析以及可视化能力，帮助研发团队更好地理解开发过程，挖掘关键瓶颈与提效机会。 DevLake这样的多数据源集成平台在开发过程中最大的挑战是繁杂的数据源和庞大的数据量。在最初的架构中，有三方面的问题包括数据丢失，数据失真以及每次微调后都需要重复请求api。本次演讲分享了在架构演进的过程中团队是如何克服挑战，希望可以为数据集成及处理的框架设计上提供参考。

Speakers:

陈映初: 思码逸, 软件开发工程师, 现任思码逸后端开发，目前主要维护apache/incubator-devlake，过去曾参与《中国创翼文创大赛西南总决赛》