Category Archives: hadoop

一、基础环境 1、环境版本 环境：centos7 hadoop版本：2.7.2 jdk版本：1.8 2、Had… Read More »

一、HDFS基本概述 1、HDFS描述 大数据领域一直面对的两大核心模块：数据存储，数据计算，HDFS作为最重… Read More »

一、读写机制 1、数据写入 客户端访问NameNode请求上传文件； NameNode检查目标文件和目录是否已… Read More »

一、存储机制 1、基础描述 NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImag… Read More »

一、工作机制 1、基础描述 DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个… Read More »

一、HDFS高可用 1、基础描述 在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制… Read More »

一、MapReduce概述 1、基本概念 Hadoop核心组件之一：分布式计算的方案MapReduce，是一种… Read More »

一、Yarn基本结构 Hadoop三大核心组件：分布式文件系统HDFS、分布式计算框架MapReduce，分布… Read More »

一、Hbase简介 1、基础描述 Hadoop原生的特点是解决大规模数据的离线批量处理场景，HDFS具备强大存… Read More »