Cloudrea管理hadoop集群

By | 2017年5月19日
目录
[隐藏]

1. Cloudera介绍

Hadoop是一个开源项目,Cloudera对Hadoop进行了商业化,简化了安装过程,并对hadoop做了一些封装。

 

根据使用的需要,Hadoop集群要安装很多的组件,一个一个安装配置起来比较麻烦,还要考虑HA,监控等。

使用Cloudera可以很简单的部署集群,安装需要的组件,并且可以监控和管理集群。

 

CDH是Cloudera公司的发行版,包含Hadoop,Spark,Hive,Hbase和一些工具等。

Cloudera有两个版本:

Cloudera Express 版本是免费的
Cloudera Enterprise (60天试用期)需要购买注册码

2. 安装Cloudrea  Manager,部署Hadoop集群

2.1 安装方法

先安装Cloudrea  Manager,再通过Cloudrea  Manager在节点上安装Cloudrea  Manager客户端,CDH,管理工具。

 

官方文档:

https://www.cloudera.com/documentation/manager/5-1-x.html

环境需求:

1. 关闭selinux

2. 各节点可以SSH登陆

3. 在/etc/hosts中添加各节点的主机名

 

2.2 安装Cloudrea  Manager

可以通过官方的一键安装包,也可以通过yum或rpm安装。

下面介绍用官方的一键安装包安装。

 

本次安装环境为CnetOS 7,在3台机器上进行安装

test165 (cloudera manager server)

test166 (cloudera manager agent)

test167 (cloudera manager agent)

2.2.1 下载一键安装包

http://archive.cloudera.com/cm5/installer/latest/

下载最新版: cloudera-manager-installer.bin

2.2.2 安装cloudera manager

在test165上安装cloudera manager server,启动安装向导
# chmod a+x cloudera-manager-installer.bin
# ./cloudera-manager-installer.bin

出现下面画面

 

一路选择< Next > 和 < Yes >,开始安装。

需要下载JAVA和Cloudrea  Manager,共600多MB,根据网络情况,会花一些时间。

 

出现下面页面,安装完成。

 

安装完成后,访问Cloudrea  Manager的页面,用户名密码都是admin

http://IP或主机名:7180/

2.2.3 安装cloudera manager agent

登录Cloudrea  Manager页面,选择要安装的版本,本次安装的是Cloudera Express

 

选择要安装CDH的主机,用主机名或IP搜索,本次是在三个节点上安装CDH

 

选择使用Parcel安装,选择CDH版本

 

选择安装JDK

 

提供SSH登录信息

 

开始安装JDK和cloudera manager agent

 

如果安装过程中,下载安装jdk 或 cloudera-manager-agent失败,可以在节点上手动安装,然后再在Cloudrea  Manager上继续安装
# yum -y install jdk
# yum -y install oracle-j2sdk1.7
# yum -y install cloudera-manager-agent

下载Parcel并分配Parcel到各节点

 

Parcel包1.5G左右,需要一段时间,为了提高安装速度,可以先把包下载到Cloudrea  Manager本地,配置本地源

 

parcel下载地址:

http://archive.cloudera.com/cdh5/parcels/5.5.1/

 

将下面文件拷贝到/opt/cloudera/parcel-repo/文件夹下

CDH-5.5.1-1.cdh5.5.1.p0.11-el7.parcel

CDH-5.5.1-1.cdh5.5.1.p0.11-el7.parcel.sha

manifest.json

 

安装完成后,点继续,到检查结果的页面

 

检查主机正确性时出现 “Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 30。” 的警告,进行如下设定
# vi /etc/sysctl.conf
vm.swappiness = 0
# sysctl –p

检查主机正确性时出现 “已启用“透明大页面”,它可能会导致重大的性能问题。” 的警告,进行如下设定
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# vi /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.3 安装集群,包括Hadoop,YARN,Hive等

检查主机正确性后,点击完成,进入集群配置

选择要安装的服务,可以选择组合或自定义

 

配置各节点间如何分配

 

注意: HDFS的Data Node 最少3个。

 

测试数据库连接

 

开始安装

 

3. 确认,测试

确认集群状态正常,动作正常

 

1. 在集群页面确认,所有服务状态正常

 

2. 在主机页面确认,各节点的Heartbeat状态正常,并且时间小于15秒

 

3. 运行任务进行测试

登陆到集群中任意一台主机,执行下面任务(用Hadoop计算PI值,圆周率)

后面2个数字参数的含义: 10指的是要运行10次map任务,10000指的是每个map任务,要投掷多少次,2个参数的乘积就是总的投掷次数。
# sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10000

 

执行结果如下:

 

任务的执行情况可以在YARN页面上进行确认

群集 -> Cluster 1 -> YARN -> 应用程序

 

4. 其他

在Cloudrea  Manager页面上,可以向集群中添加/删除主机,添加服务到集群等。

 

Cloudrea  Manager页面开启了google-analytics,因为从国内访问很慢,可以关闭google-analytics

管理 -> 设置 -> 其他 -> 允许使用情况数据收集  不选

 

5. 后记

工欲善其事必先利其器,管理Hadoop 集群,Cloudrea 是个不错的选择。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注