hadoop在linux的安装

在 Linux 系统上安装 Hadoop 需要以下几个步骤：

一、系统环境准备

确保你的 Linux 系统满足以下要求：

Linux 发行版：如 Ubuntu 20.04 LTS、CentOS 7/8、Debian 11 等。Java：Hadoop 需要 Java 8 或更高版本。磁盘空间：至少 20GB（建议 50GB 以上）。网络：确保所有节点之间可以互相通信。

二、安装 Java（推荐 OpenJDK）

sudo apt updatesudo apt install openjdk-8-jdk -y

验证 Java 是否安装成功：

java -versionjavac -version

三、下载 Hadoop 源码

Hadoop 可以从官方下载源码包：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

解压：

tar -xzvf hadoop-3.3.6.tar.gz

移动到安装目录（如 /opt）：

sudo mv hadoop-3.3.6 /opt/hadoop

四、配置 Hadoop 环境变量

编辑 ~/.bashrc 或 ~/.profile：

nano ~/.bashrc

添加以下内容（根据你的 Hadoop 版本调整路径）：

export HADOOP_HOME=/opt/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存并退出，然后执行：

source ~/.bashrc

五、配置 Hadoop 配置文件

Hadoop 配置文件位于 HADOOP_HOME/etc/hadoop/ 目录下。

1. 配置 hadoop-env.sh

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

添加以下内容（如需使用 Java 8，确保已安装）：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. 配置 core-site.xml

nano $HADOOP_HOME/etc/hadoop/core-site.xml

添加以下内容：

<configuration>  <property>    <name>fs.defaultFS</name>    <value>hdfs://localhost:9000</value>  </property></configuration>

3. 配置 hdfs-site.xml

nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加以下内容：

<configuration>  <property>    <name>dfs.replication</name>    <value>3</value>  </property>  <property>    <name>dfs.namenode.http-address</name>    <value>localhost:50070</value>  </property></configuration>

4. 配置 mapred-site.xml

nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

添加以下内容：

<configuration>  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>  </property></configuration>

5. 配置 yarn-site.xml

nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加以下内容：

<configuration>  <property>    <name>yarn.resourcemanager.address</name>    <value>localhost:8030</value>  </property>  <property>    <name>yarn.resourcemanager.scheduler.address</name>    <value>localhost:8031</value>  </property>  <property>    <name>yarn.resourcemanager.webapp.address</name>    <value>localhost:8088</value>  </property></configuration>

六、格式化 HDFS 文件系统

hadoop namenode -format

七、启动 Hadoop

start-dfs.shstart-yarn.sh

八、验证 Hadoop 是否启动成功

jps

你应该看到以下进程：

HadoopNameNodeHadoopDatanodeHadoopSecondaryNameNodeYARN/ResourceManagerYARN/NodeManager

九、可选：使用 YARN 运行 MapReduce 作业

你可以使用以下命令运行一个简单的 MapReduce 作业：

hadoop jar hadoop-examples-3.3.6.jar grep /user/hadoop/input /user/hadoop/output 'cat *'

十、停止 Hadoop

stop-dfs.shstop-yarn.sh

附加说明

如果你使用 Docker，可以使用 docker-compose 来部署 Hadoop。如果你使用 Kubernetes，可以使用 Hadoop 的 Kubernetes 集成。如果你使用 Hadoop 3.x，需要确保你的 Linux 系统支持 Hadoop 3.x。

如需进一步帮助，比如如何运行 Hadoop 的 MapReduce 作业、如何配置集群、如何优化性能等，欢迎继续提问！

文章转自：[《全面攻略！逃离魔力地牢2 ] (https://www.52mwyd.com/news/23414.html)

作者：游戏攻略，转载请注明原文链接：https://www.52mwyd.com/