一、介绍 Capacity Scheduler，现在已经成了 Hadoop 中的默认调度器，其被设计成一个可拔插的调度程序，允许多个租户安全地共享一个大型集群，这样他们的应用程序就可以在分配容量的限制下及时地分配资源。其表现为，多个队列组成一个树状结构，根节点为 root 队列，这个树的叶子节点通过
一、基本概念 状态机由一组状态组成，这些状态大体分为三类：初始状态、中间状态和最终状态。状态机首先由初始状态A开始运行，经过一系列的中间状态后到达最终状态，并在最终状态退出，从而形成一个有向无环图。其状态处理的逻辑是收到一个事件，触发状态A到状态B的转换，而转换操作是由事件对应的hook完成的。 以
一、背景 当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机
一、Home SubCluster的选择 什么是Home SubCluster 在Yarn Fedration模式下，一个大规模集群会被分成很多子集群，那么在提交一个作业任务时需要选择其中一个子集群作为这个任务的Home，官方文档释义如下： The sub-cluster on which the
一、背景 在KA系统中需要解析FSImage来对整个HDFS系统分析其元数据（INode），来将数据可视化展示以及治理合并过多的小文件。 从代码中可以看到，使用OIV解析时分为三步: loadDirectories(fin, sections, summary, conf); loadINodeDi
一、背景 本文作为前文Router-based Federation的补充，顺带分析Observer状态的NameNode是如何分担读请求的。 我们所知HA架构中的HDFS使用Standby NameNode来作为Active NameNode的一个热备份，在故障转换时可以快速接管Client的请求
一、背景 Hadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federation架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router 将
一、背景 什么是慢节点？ 随着HDFS集群规模的不断增长、服务器使用寿命的缩减，在大规模集群中性能退化节点的出现是必然的，我们将这样的节点称为慢节点。慢节点问题是大规模集群中的常见问题，其影响范围可以波及整个集群，会对集群的吞吐能力造成严重的影响。 HDFS作为大数据平台的存储底座，慢节点问题将对上
一、选取合适的Block位置并排序 block位置其实就是指向某一DataNode，所以也可以理解为找到一系列合适的DataNode列表。 //常规使用客户端向HDFS读取数据的代码片段，接下来来以此分析 FSDataInputStream is = dfs.open(new Path("/a/b/
一、构建Pipeline 在从客户端提交写入文件的请求后，NameNode需要选择出一些适合的DataNode，将这些DataNode放入一个Pipeline中。NameNode会与Pipeline中的第一个DataNode交互（发送Packet），接下来第一个DataNode会将Packet发送到
