一直都是用cm 来安装 cdh ,刚好公司有有一些机器闲置,于是决定手动来安装一下cdh 5.7.0集群。

hadoop2.7 + HA + zookeeper3.4.5 + KAFKA0.9.0.1 + SPARK1.6 + HBASE1.2

软件地址:http://archive.cloudera.com/cdh5/cdh/5/

节点规划:

NN

DN

JN

ZK

ZKFC

SP

KF

HM

HRS

RM

NM

JH

new-cdh1

×

×

×

×

×

×

×

×

×

×

new-cdh2

×

×

×

×

×

×

×

×

×

×

new-cdh3

×

×

×

×

×

×

×

×

×

new-cdh4

×

×

×

×

×

×

×

×

×

new-cdh5

×

×

×

×

×

×

×

×

new-cdh6

×

×

×

×

×

×

×

×

new-cdh7

×

×

×

×

×

×

×

×

new-cdh9

×

×

×

×

×

×

×

×

new-cdh10

×

×

×

×

×

×

×

new-cdh11

×

×

×

×

×

×

×

×

new-cdh12

×

×

×

×

×

×

×

×

new-cdh13

×

×

×

×

×

×

×

×

new-cdh15

×

×

×

×

×

×

×

×

×

×

new-cdh16

×

×

×

×

×

×

×

×

×

×

new-cdh17

×

×

×

×

×

×

×

×

×

×

安装

1、安装准备:(ssh 相互免密码登录、关闭防火墙、关闭selinux、时间同步 ntp 等)

2、zookeeper 3.4.5 安装

3、kafka 0.9.0.1 安装kafka-manger 安装和使用

4、hadoop 2.7 + HA 安装

5、hbase1.2 分布式安装

6、SPARK1.6 分布式安装

ps: ZK:Zookeeper ZKFC:ZKFC SP:SPARK KF:KAFKA HM:HMaster HRS:HRegionServer RM:ResourceManager NM:NodeManager JH:JobHistory