良许Linux教程网 干货合集 在 CentOS 上安装 Apache Hadoop

在 CentOS 上安装 Apache Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架,Hadoop拥有着高可靠性、高扩展性、高容错性等特点成为大数据中主流的框架。

在 CentOS 上安装 Apache Hadoop

本文将帮助你逐步在 CentOS 上安装 hadoop 并配置单节点 hadoop 集群。

安装 Java

在安装 hadoop 之前,请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本。

  1. java -version
  2. java version "1.7.0_75"
  3. Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
  4. Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

要安装或更新 Java,请参考下面逐步的说明。

第一步是从 Oracle 官方网站下载最新版本的 java。

  1. cd /opt/
  2. wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
  3. tar xzf jdk-7u79-linux-x64.tar.gz

需要设置使用更新版本的 Java 作为替代。使用以下命令来执行此操作。

  1. cd /opt/jdk1.7.0_79/
  2. alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2
  3. alternatives --config java
  1. There are 3 programs which provide 'java'.
  2. Selection Command
  3. -----------------------------------------------
  4. * 1 /opt/jdk1.7.0_60/bin/java
  5. + 2 /opt/jdk1.7.0_72/bin/java
  6. 3 /opt/jdk1.7.0_79/bin/java
  7. Enter to keep the current selection[+], or type selection number: 3 [Press Enter]

现在你可能还需要使用 alternatives 命令设置 javac 和 jar 命令路径。

  1. alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2
  2. alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2
  3. alternatives --set jar /opt/jdk1.7.0_79/bin/jar
  4. alternatives --set javac /opt/jdk1.7.0_79/bin/javac

下一步是配置环境变量。使用以下命令正确设置这些变量。

设置 JAVA_HOME 变量:

  1. export JAVA_HOME=/opt/jdk1.7.0_79

设置 JRE_HOME 变量:

  1. export JRE_HOME=/opt/jdk1.7.0_79/jre

设置 PATH 变量:

  1. export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin

安装 Apache Hadoop

设置好 java 环境后。开始安装 Apache Hadoop。

第一步是创建用于 hadoop 安装的系统用户帐户。

  1. useradd hadoop
  2. passwd hadoop

现在你需要配置用户 hadoop 的 ssh 密钥。使用以下命令启用无需密码的 ssh 登录。

  1. su - hadoop
  2. ssh-keygen -t rsa
  3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  4. chmod 0600 ~/.ssh/authorized_keys
  5. exit

现在从官方网站 hadoop.apache.org 下载 hadoop 最新的可用版本。

  1. cd ~
  2. wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
  3. tar xzf hadoop-2.6.0.tar.gz
  4. mv hadoop-2.6.0 hadoop

下一步是设置 hadoop 使用的环境变量。

编辑 ~/.bashrc,并在文件末尾添加以下这些值。

  1. export HADOOP_HOME=/home/hadoop/hadoop
  2. export HADOOP_INSTALL=$HADOOP_HOME
  3. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  4. export HADOOP_COMMON_HOME=$HADOOP_HOME
  5. export HADOOP_HDFS_HOME=$HADOOP_HOME
  6. export YARN_HOME=$HADOOP_HOME
  7. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  8. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

在当前运行环境中应用更改。

  1. source ~/.bashrc

编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并设置 JAVA_HOME 环境变量。

  1. export JAVA_HOME=/opt/jdk1.7.0_79/

现在,先从配置基本的 hadoop 单节点集群开始。

首先编辑 hadoop 配置文件并进行以下更改。

  1. cd /home/hadoop/hadoop/etc/hadoop

让我们编辑 core-site.xml

  1. fs.default.name
  2. hdfs://localhost:9000

接着编辑 hdfs-site.xml

  1. dfs.replication
  2. 1
  3. dfs.name.dir
  4. file:///home/hadoop/hadoopdata/hdfs/namenode
  5. dfs.data.dir
  6. file:///home/hadoop/hadoopdata/hdfs/datanode

并编辑 mapred-site.xml

  1. mapreduce.framework.name
  2. yarn

最后编辑 yarn-site.xml

  1. yarn.nodemanager.aux-services
  2. mapreduce_shuffle

现在使用以下命令格式化 namenode:

  1. hdfs namenode -format

要启动所有 hadoop 服务,请使用以下命令:

  1. cd /home/hadoop/hadoop/sbin/
  2. start-dfs.sh
  3. start-yarn.sh

要检查所有服务是否正常启动,请使用 jps 命令:

  1. jps

你应该看到这样的输出。

  1. 26049 SecondaryNameNode
  2. 25929 DataNode
  3. 26399 Jps
  4. 26129 JobTracker
  5. 26249 TaskTracker
  6. 25807 NameNode

现在,你可以在浏览器中访问 Hadoop 服务:http://your-ip-address:8088/ 。

hadoop

关于在 CentOS 上安装 Apache Hadoop的教程分享结束大家有什么建议可以在评论区分享啊。

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你!

良许微信公众号

本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部