centos7 hadoop 集群安装配置

2018-04-05

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun

前言：

本文安装配置的hadoop为分布式的集群，单机配置见：centos7 hadoop 单机模式安装配置
我用的三个centos7, 先将常用环境配置好（CentOS 初始环境配置），设置的ip分别为：192.168.44.138、192.168.44.139，192.168.44.140，分别对应别名master、slave1、slave2

1、首先安装配置jdk（我安装的1.8）

2、给每个虚拟机的ip起个别名

在每个虚拟机上执行

1	vim /etc/hosts

在最下面添加：

1
2
3

192.168.44.138 master
192.168.44.139 slave1
192.168.44.140 slave2

在每个虚拟机上ping一下，保证都能ping通

1
2
3

ping master
ping slave1
ping slave2

3、SSH免密码登录

保证三台机器都可以免密互通，参考：linux ssh 免密登录

3、下载hadoop（每台机器）

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/，我下载的是hadoop-2.7.5.tar.gz

4、解压到/opt目录下（每台机器、目录根据自己习惯）

1	tar -zxvf hadoop-2.7.5.tar.gz -C /opt/

5、配置hadoop环境变量（每台机器）

1	vim /etc/profile

1 2	export HADOOP_HOME=/opt/hadoop-2.7.5 export PATH=$PATH:$HADOOP_HOME/bin

1	source /etc/profile

6、配置hadoop（仅master）

配置文件里的文件路径和端口随自己习惯配置

6.1 配置slaves

需要现将slaves1文件中的localhost删掉，本次使用两个slave节点，让master仅作为NameNode使用，也可以让master既作为NameNode也作为 DataNode，在slaves添加master即可

1	vim /opt/hadoop-2.7.5/etc/hadoop/slaves

1 2	slave1 slave2

6.2 配置hadoop-env.sh

1	vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

找到# The java implementation to use.将其下面的一行改为：

1	export JAVA_HOME=/opt/jdk1.8.0_45

6.3 配置core-site.xml

1	vim /opt/hadoop-2.7.5/etc/hadoop/core-site.xml

<configuration>
	<property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-2.7.5</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8888</value>
    </property>
</configuration>

6.4 配置hdfs-site.xml

1	vim /opt/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

dfs.replication 一般设为 3，但这次只使用两个slave，所以 dfs.replication 的值设为 2

<configuration>
	<property>
	    <name>dfs.namenode.secondary.http-address</name>
	    <value>master:50090</value>
	</property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/data</value>
    </property>
</configuration>

6.5 配置yarn-site.xml

1	vim /opt/hadoop-2.7.5/etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

6.6 配置mapred-site.xml

1
2
3

cd /opt/hadoop-2.7.5/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

6.7 将上述配置的文件传到其他节点的/opt/hadoop-2.7.5/etc/hadoop/目录中

1
2

scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave1:/opt/hadoop-2.7.5/etc/hadoop/
scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave2:/opt/hadoop-2.7.5/etc/hadoop/