一、针对Spark Thrift Server Spark Thrift Server是Apache Spark社区基于HiveServer2实现的一个Thrift服务,旨在无缝兼容HiveServer2。它通过JDBC接口将Spark SQL的能力以纯SQL的方式提供给终端用户。这种“开箱即用”的
一、背景 在KA系统中需要解析FSImage来对整个HDFS系统分析其元数据(INode),来将数据可视化展示以及治理合并过多的小文件。 从代码中可以看到,使用OIV解析时分为三步: loadDirectories(fin, sections, summary, conf); loadINodeDi
一、背景 本文作为前文Router-based Federation的补充,顺带分析Observer状态的NameNode是如何分担读请求的。 我们所知HA架构中的HDFS使用Standby NameNode来作为Active NameNode的一个热备份,在故障转换时可以快速接管Client的请求