字节跳动内部离线业务具有庞大的规模，线上每天有数十万节点、数百万任务运行，每天使用的资源量达千万量级，内部由离线调度系统和在线调度系统分别负责离线业务和在线业务的调度管理。但随着业务规模发展，这一套系统暴露了一些短板：在离线属于两套系统，一些重大活动场景需要通过运维方式进行在离线资源转换，运维负担繁重，转换周期长；资源池不统一使得整体资源利用率不高，配额管控、机器运维等无法复用；大数据作业无法享受到云原生的各种好处，例如：可靠稳定的隔离能力、便捷的运维能力等。在离线系统亟待统一，而传统大数据引擎不是针对云原生设计难以直接云原生部署，各计算引擎和任务需要进行深度改造才能支持原先在 YARN 上的各种特性，改造成本巨大。基于此背景，字节跳动提出基于云原生的 YARN 解决方案 —— Serverless YARN，其 100% 兼容 Hadoop YARN 协议， Hadoop 生态下的大数据作业无需修改即可透明迁移到云原生系统上，在线资源和离线资源间可以高效灵活转换、分时复用，集群整体资源利用率得到显著提升。

Speakers:

邵凯阳: 字节跳动, 火山引擎云原生计算研发工程师，在字节跳动基础架构负责离线调度相关工作，具有多年工程架构经验。