Flink中的StreamGraph，JobGraph，ExecutionGraph是如何一步一步转变的 一、StreamGraph 在用户自定义的Flink Java应用程序中，经常会用到多个算子以流式的方式来对source进行计算最后sink到另一个地方，那么从用户程序角度来看其实Flink会初
Published on 2024-11-10
Flink几种提交任务的模式及源码分析 一、模式 1. Yarn Session模式 此模式下需要提前使用flink命令预先创建一个Yarn上的常驻应用，后续可以指定JobManager的地址向集群提交任务。 # 创建flink yarn session集群 ./bin/yarn-session.s
Published on 2024-10-31
ShuffleMapTask整体流程 Spark中负责具体的Shuffle Map端执行任务的逻辑在ShuffleMapTask，当任务提交后，Executor会将任务交给处理任务的线程池，最终调用的是Task中的runTask方法，ShuffleMapTask的具体实现步骤如下: 首先反序列化出T
Published on 2024-02-10
Shuffle涉及到三方面问题：Shuffle write写过程，中间数据记录过程以及Shuffle read读过程，上面几节我们分析了write和中间记录过程，本文将聚焦在Shuffle read部分。ShffuleRead什么时候进行数据读取？ShuffleMap产生的数据如何拉取过来？拉取过来
Published on 2024-02-10
一、背景 当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机
Published on 2023-11-02
一、Home SubCluster的选择 什么是Home SubCluster 在Yarn Fedration模式下，一个大规模集群会被分成很多子集群，那么在提交一个作业任务时需要选择其中一个子集群作为这个任务的Home，官方文档释义如下： The sub-cluster on which the
Published on 2023-11-02
一、背景 本文作为前文Router-based Federation的补充，顺带分析Observer状态的NameNode是如何分担读请求的。 我们所知HA架构中的HDFS使用Standby NameNode来作为Active NameNode的一个热备份，在故障转换时可以快速接管Client的请求
Published on 2023-10-10
一、背景 Hadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federation架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router 将
Published on 2023-10-09
