hadoop for linux 安装

安装 Hadoop 在 Linux 系统上是一个常见的分布式计算任务。Hadoop 是一个基于 Java 的开源框架，用于分布式存储和计算。以下是安装 Hadoop 的常见步骤，适用于大多数 Linux 发行版（如 Ubuntu、CentOS、Debian 等）。

? 一、安装 Hadoop 的前提条件

系统要求：

64 位系统Java 8 或以上版本（推荐 Java 11）系统盘空间足够（建议至少 10GB）

安装 Java（如果未安装）：

sudo apt updatesudo apt install openjdk-8-jdk -ysudo update-alternatives --set java /usr/lib/jvm/java-8-openjdk-amd64

如果使用 Java 11，可以使用：

sudo apt install openjdk-11-jdk -ysudo update-alternatives --set java /usr/lib/jvm/java-11-openjdk-amd64

安装依赖（如 make, gcc, wget）：

sudo apt install make build-essential -y

? 二、下载 Hadoop

Hadoop 的官方下载地址是：

Hadoop 官方网站

推荐下载稳定版本（如 3.3.6）：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

? 三、解压 Hadoop

tar -xvf hadoop-3.3.6.tar.gzmv hadoop-3.3.6 /opt/hadoop

? 四、配置 Hadoop 环境变量

编辑 ~/.bashrc 或 ~/.bash_profile，添加以下内容：

export HADOOP_HOME=/opt/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后执行：

source ~/.bashrc

? 五、配置 Hadoop 配置文件

Hadoop 的配置文件位于 hadoop-3.3.6/etc/hadoop/，需要编辑以下文件：

1. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64  # 根据你的 Java 版本修改

2. core-site.xml

<configuration>  <property>    <name>fs.defaultFS</name>    <value>hdfs://localhost:9000</value>  </property></configuration>

3. hdfs-site.xml

<configuration>  <property>    <name>dfs.replication</name>    <value>3</value>  </property></configuration>

4. mapred-site.xml

<configuration>  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>  </property></configuration>

5. yarn-site.xml

<configuration>  <property>    <name>yarn.resourcemanager.hostname</name>    <value>localhost</value>  </property></configuration>

6. hadoop-2.7.3/etc/hadoop（如果使用旧版本）：

<configuration>  <property>    <name>fs.defaultFS</name>    <value>hdfs://localhost:9000</value>  </property></configuration>

? 六、启动 Hadoop

1. 启动 NameNode 和 DataNode

hadoop namenode -formathadoop-daemon.sh start namenodehadoop-daemon.sh start datanode

2. 启动 YARN

start-yarn

? 七、验证 Hadoop 是否启动成功

1. 查看 NameNode 状态

jps

你应该看到：

HadoopNameNodeHadoopDatanodeYARNResourceManagerYARNNodeManager

? 八、使用 Hadoop 命令

1. 查看文件系统

hdfs dfs -ls /  # 查看 HDFS 中的文件

2. 创建文件

hdfs dfs -put /local/file /hdfs/path

3. 查看日志

hdfs dfs -cat /hdfs/path

? 九、常见问题

问题解决方法Hadoop 无法启动检查配置文件是否正确，确保 Java 环境变量正确NameNode 无法访问检查防火墙是否开放 9000 端口YARN 无法启动检查 YARN 配置是否正确，确保端口开放

? 十、卸载 Hadoop（可选）

sudo rm -rf /opt/hadoopsudo rm -rf hadoop-3.3.6.tar.gz

如需进一步配置 Hadoop（如 HDFS 分布式文件系统、MapReduce 等），可以继续深入。

如需我帮你生成 Hadoop 的启动脚本、配置文件模板或 YARN 配置，也可以告诉我。

文章转自：[《废土3》狙击手怪癖方案推荐 ] (https://www.52mwyd.com/news/30304.html)

作者：游戏攻略，转载请注明原文链接：https://www.52mwyd.com/