Pyke's Blog

Menu

Pyke's Blog 给我一双看清世界的眼眸

All Tags

#Flink 2 #Halo 1 #Iceberg 2 # File Format 1 #Spark 3 #Yarn 5 #MapReduce 1 #HDFS 7
源码分析 #Yarn

事件驱动模型

一、背景 在Yarn中为了高效的处理一个任务的生命周期，其采用了基于事件驱动的并发模型，该模型能够大大增加并发性，从而提高系统整体性能。该模型将处理逻辑抽象成事件和对应的事件带调度器，并将每类事件的处理过程分割成多个步骤，用有限状态机表示。该模型图如下： 这张图反映了AsyncDispatcher的

Administrator Published on 2024-02-01
使用姿势 #Yarn

容量调度器

一、介绍 Capacity Scheduler，现在已经成了 Hadoop 中的默认调度器，其被设计成一个可拔插的调度程序，允许多个租户安全地共享一个大型集群，这样他们的应用程序就可以在分配容量的限制下及时地分配资源。其表现为，多个队列组成一个树状结构，根节点为 root 队列，这个树的叶子节点通过

Administrator Published on 2023-11-15
源码分析 #Yarn

Yarn状态机

一、基本概念 状态机由一组状态组成，这些状态大体分为三类：初始状态、中间状态和最终状态。状态机首先由初始状态A开始运行，经过一系列的中间状态后到达最终状态，并在最终状态退出，从而形成一个有向无环图。其状态处理的逻辑是收到一个事件，触发状态A到状态B的转换，而转换操作是由事件对应的hook完成的。 以

Administrator Published on 2023-11-06
源码分析 #Yarn

Yarn Federation任务提交流程（二）

一、Home SubCluster的选择 什么是Home SubCluster 在Yarn Fedration模式下，一个大规模集群会被分成很多子集群，那么在提交一个作业任务时需要选择其中一个子集群作为这个任务的Home，官方文档释义如下： The sub-cluster on which the

Administrator Published on 2023-11-02
源码分析 #Yarn

Yarn Federation任务提交流程（一）

1. 启动Router时做了什么事 官方对Router有如下释义，这个组件的作用大致意思就是可以对外暴露ApplicationClientProtocol，让外界不感知ResourceManager的存在，所有通过Yarn Client发送的请求会经过这里，从而进行解耦。 /** * The ro

Administrator Published on 2023-08-02