文章目录

配置环境变量

vim /etc/profile

在最后插入

#JAVA_HOME
export JAVA_HOME=/usr/apps/java/jdk
export PATH=$PATH:$JAVA_HOME/bin
#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/usr/apps/zookeeper/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/usr/apps/hadoop/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存

Esc->:->wq->Enter

刷新配置文件

source /etc/profile

验证Java配置文件

java -version

示例代码

[root@master apps]# source /etc/profile
[root@master apps]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
NOTE:配置成功(若不成功请查看路径是否有误或是否大写)

配置zookeeper

配置zoo.cfg文件:

进入zookeeper解压目录下的conf文件夹

cd /usr/apps/zookeeper/zookeeper-3.4.10/conf/

ls查看未发现zoo.cfg只有zoo_sample.cfg,这是个模板,复制一份:cp命令【copy复制】:

cp zoo_sample.cfg zoo.cfg

编辑zoo.cfg:

vim zoo.cfg

添加之前新建的文件夹(data、log)路径:

# 该文件中应该有"dataDir=/tmp/zookeeper",删除该目录换成自己的,出错方便查找
dataDir=/usr/apps/zookeeper/data
dataLogDir=/usr/apps/zookeeper/log

且在zoo.cfg文件中最后添加端口号信息

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

进入到zookeeper的data目录下:

cd /usr/apps/zookeeper/data/

创建myid文件:

vim myid

输入内容

1
# master输入内容为1,slave1输入内容为2,slave2输入内容为3

配置Hadoop

进入Hadoop的配置文件目录:

cd /usr/apps/hadoop/hadoop-2.7.4/etc/hadoop/

复制生成mapred-site.xml文件:

cp mapred-site.xml.template mapred-site.xml

修改hadoop-env.sh

vim hadoop-env.sh

修改内容:

# 查看行号命令为:set nu 
# 25行的java_home后面删除替换成自己的Jdk路径:
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.
 
# The java implementation to use.
export JAVA_HOME=/usr/apps/java/jdk

修改yarn-env.sh

vim yarn-env.sh

修改内容:

注意:23行的export前面有#注释,删除掉,将后面的路径该为自己的jdk路径。
查看路径方法:进入编辑文件后直接输入”:set nu”
# resolve links - $0 may be a softlink
export YARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"

# some Java parameters
export JAVA_HOME=/usr/apps/java/jdk
if [ "$JAVA_HOME" != "" ]; then
  #echo "run java in $JAVA_HOME"

修改core-site.xml

vim core-site.xml

修改内容:

NOTE:在configuration标签中添加内容
<configuration>
<!-- 指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/apps/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
</configuration>

修改hdfs-site.xml

vim hdfs-site.xml

修改内容:同上在标签中添加

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

修改yarn-site.xml

vim yarn-site.xml

修改内容:同上在标签中添加

<configuration>
<!– Site specific YARN configuration properties –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value></property>
<property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name><value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

修改mapred-site.xml

vim mapred-site.xml

修改内容:同上在标签中添加

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

修改slaves

vim slaves

修改内容:

slave1
slave2

Master主机配置完毕


段落小结

NOTE:
Ps:以下均在Master主机配置
1.配置环境变量:
——Java_Home环境变量、Hadoop_Home环境变量、Zookeeper_Home环境变量
2.配置zookeeper:
——添加data、log文件夹路径、zoo.cfg中添加端口号信息、data文件夹中新建myid
3.配置Hadoop:
——复制模板使成为文件、修改hadoop-env.sh、修改yarn-env.sh、修改core-site.xml、修改hdfs-site.xml、修改yarn-site.xml、修改mapred-site.xml、修改slaves