Hadoop环境安装和集群创建

本文提供基于VMware安装CentOS 7及配置Hadoop伪分布式/集群的简要步骤。
一、环境准备
下载VMware并安装，CentOS 7标准版ISO可从官网获取。
主机网络配置：编辑Windows hosts文件，映射主机名与IP（如192.168.1.76 master）。
关闭防火墙：systemctl stop firewalld并禁用自启，使用Xshell连接主机（支持rz/sz传文件）。
二、JDK安装
解压JDK至指定目录，配置/etc/profile环境变量（JAVA_HOME、CLASSPATH、PATH）。若32位版本报错，建议重装64位JDK或执行yum install glibc.i686。
三、Hadoop配置
环境变量：在/etc/profile中设置HADOOP_HOME并生效。
核心文件：
hadoop-env.sh：指定JAVA_HOME路径。
core-site.xml：设置fs.defaultFS为hdfs://master:9000，hadoop.tmp.dir为数据目录。
hdfs-site.xml：设置dfs.replication（伪分布式设为1）。
yarn-site.xml：配置ResourceManager地址及辅助服务。
mapred-site.xml：指定mapreduce.framework.name为yarn。
主机映射：修改/etc/hosts，配置master/slave IP。
SSH免密：生成密钥对，将公钥复制到各节点authorized_keys。
从节点：修改slaves文件（伪分布式写localhost，集群写slave主机名），并同步到从节点。
四、启动与验证
格式化HDFS：hadoop namenode -format。
启动服务：执行start-all.sh（或分别启动HDFS和YARN）。
验证：jps查看进程（Master应有NameNode、SecondaryNameNode、ResourceManager；Slave有DataNode、NodeManager）。
Web访问：http://master:50070（HDFS）和http://master:18088（YARN）确认正常。