Apache Atlas原理简述 一、Apache Atlas是什么 Atlas是一组可扩展的核心基础治理服务，使企业能够有效和高效地满足其在Hadoop中的合规性要求，并允许接入整个公司数据的生态系统。 Apache Atlas为组织提供开放的元信息管理和治理能力，以构建其数据资产的目录，对这些资

Flink中的StreamGraph，JobGraph，ExecutionGraph是如何一步一步转变的 一、StreamGraph 在用户自定义的Flink Java应用程序中，经常会用到多个算子以流式的方式来对source进行计算最后sink到另一个地方，那么从用户程序角度来看其实Flink会初

Flink几种提交任务的模式及源码分析 一、模式 1. Yarn Session模式 此模式下需要提前使用flink命令预先创建一个Yarn上的常驻应用，后续可以指定JobManager的地址向集群提交任务。 # 创建flink yarn session集群 ./bin/yarn-session.s

一、背景 Iceberg到底解决了什么问题？ 传统Hive数仓存在的问题 一言以蔽之：Hive的表格式主要问题的关键是在文件级别跟踪表中的数据。他们不是一个指向一个目录或一组目录的表，而是将一个表定义为一个规范的文件列表。 解释如下： Hive的Table Format的状态和两个地方有关：Hive