Hadoop框架:单服务下伪分布式集群搭建
一、基础环境 1、环境版本 环境:centos7 hadoop版本:2.7.2 jdk版本:1.8 2、Had… Read More »
一、基础环境 1、环境版本 环境:centos7 hadoop版本:2.7.2 jdk版本:1.8 2、Had… Read More »
一、基础环境配置 1、三台服务 准备三台Centos7服务,基础环境从伪分布式环境克隆过来。 133 hop0… Read More »
一、HDFS基本概述 1、HDFS描述 大数据领域一直面对的两大核心模块:数据存储,数据计算,HDFS作为最重… Read More »
一、读写机制 1、数据写入 客户端访问NameNode请求上传文件; NameNode检查目标文件和目录是否已… Read More »
一、存储机制 1、基础描述 NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImag… Read More »
一、工作机制 1、基础描述 DataNode上数据块以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个… Read More »
一、HDFS高可用 1、基础描述 在单点或者少数节点故障的情况下,集群还可以正常的提供服务,HDFS高可用机制… Read More »
一、MapReduce概述 1、基本概念 Hadoop核心组件之一:分布式计算的方案MapReduce,是一种… Read More »
一、Yarn基本结构 Hadoop三大核心组件:分布式文件系统HDFS、分布式计算框架MapReduce,分布… Read More »
一、Hbase简介 1、基础描述 Hadoop原生的特点是解决大规模数据的离线批量处理场景,HDFS具备强大存… Read More »