当前位置: 首页 > news >正文

虚拟机Linux环境配置hadoop

需要准备的资源:VMware Workstation Pro-17.6.4,ubuntu-24.04.3,hadoop-3.2.4
进入linux,打开终端准备进行配置。
一、安装jdk8(旧版兼容性好)
sudo apt update
sudo apt install openjdk-8-jdk -y
二、配置java
(1)检验java是否安装完成
java -version
javac -version
(2)配置JAVA_HOME
1.打开环境变量配置文件
nano ~/.bashrc
2.在文件末尾补充

Java环境变量

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
3.保存并退出(按Ctrl+O→回车→Ctrl+X),然后执行以下命令让配置立即生效
source ~/.bashrc
4.验证JAVA_HOME是否生效
echo $JAVA_HOME
三、将hadoop文件下载到linux环境中
image
四、解压hadoop安装包
(1)打开终端,进入主文件夹:
cd ~
(2)创建 Hadoop 安装目录并解压:
sudo mkdir -p /usr/local/hadoop
sudo tar -zxvf hadoop-3.2.4.tar.gz -C /usr/local/hadoop --strip-components 1
(3)给当前用户赋予 Hadoop 目录的权限(避免后续操作权限报错)
sudo chown -R $USER:$USER /usr/local/hadoop
五、配置hadoop环境变量
(1)打开配置文件
nano ~/.bashrc
(2)在文件末尾粘贴以下内容

Hadoop环境变量

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
(3)保存并退出(按Ctrl+O→回车→Ctrl+X),然后让配置立即生效
source ~/.bashrc
六、配置hadoop核心文件
(1)进入hadoop配置目录
cd /usr/local/hadoop/etc/hadoop
(2)配置hadoop-env.sh
1.编辑hadoop-env.sh:
nano hadoop-env.sh
2.找到# export JAVA_HOME=这一行,替换为你的 Java 路径:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 # 替换成你实际的Java路径
(3)配置core-site.xml
编辑core-site.xml,在标签内添加:

fs.defaultFS
hdfs://localhost:9000


hadoop.tmp.dir
/tmp/hadoop-${user.name}

(4)配置hdfs-site.xml(设置 HDFS 副本数)
编辑hdfs-site.xml,在标签内添加(单机模式副本数设为 1):

dfs.replication
1


dfs.namenode.name.dir
${hadoop.tmp.dir}/dfs/name


dfs.datanode.data.dir
${hadoop.tmp.dir}/dfs/data

(5)配置yarn-site.xml(设置 YARN 资源管理)
编辑yarn-site.xml,在标签内添加:

yarn.resourcemanager.address
localhost:8032


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.webapp.address
localhost:8088

(6) 配置mapred-site.xml(关联 MapReduce 和 YARN)
编辑mapred-site.xml,在标签内添加:

mapreduce.framework.name
yarn

(7)设置 SSH 免密登录(Hadoop 依赖)
1.生成 SSH 密钥(一路回车默认即可):
ssh-keygen -t rsa
2.将公钥添加到授权列表:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3.赋予授权文件权限:
chmod 600 ~/.ssh/authorized_keys
4.测试免密登录(首次需输入yes确认):
ssh localhost
七、初始化 HDFS 并启动 Hadoop
(1)初始化 HDFS(仅首次执行,重复执行会清空数据):
hdfs namenode -format
(2)启动 HDFS 和 YARN 服务:
start-dfs.sh
start-yarn.sh
(3)验证 Hadoop 是否启动成功:
jps
(4)
(若出现以下进程,说明启动成功:
NameNode
DataNode
ResourceManager
NodeManager
SecondaryNameNode)image

http://www.jsqmd.com/news/177296/

相关文章:

  • YOLOFuse云服务上线预告:在线训练与推理平台即将开放
  • 为什么你的CUDA程序跑不快?,剖析C语言中内存拷贝的5大陷阱
  • 2026年有实力的中文MBTI测试,免费MBTI测试,MBTI官方测试入口推荐榜 - 品牌鉴赏师
  • 汽车功能安全中vh6501 busoff测试实践
  • 浙江周边山地车骑行路线最新排行(2025版),山地速降/山地车/户外骑行/乡村骑行,山地车骑行训练基地口碑推荐 - 品牌推荐师
  • 还在熬夜赶论文?9个免费AI工具帮你一键搞定开题与初稿! - 麟书学长
  • YOLOFuse变电站红外监测实战项目
  • AI时代的思想钢印
  • YOLOFuse多模态检测优势:烟雾、低光照场景下的性能突破
  • 2026加盟指南:中式高定服装潜力品牌推荐,中式高定服装加盟排行选哪家精选实力品牌榜单发布 - 品牌推荐师
  • 2026年靠谱的MBTI在线测试,中文MBTI测试,MBTI免费测试入口推荐及选择指南 - 品牌鉴赏师
  • 单北斗GNSS大坝变形监测技术的发展与应用分析
  • YOLOFuse移动端适配展望:Android/iOS端运行可能性
  • YOLOFuse RunPod部署指南:按小时计费弹性伸缩
  • YOLOFuse推理结果保存路径揭秘:/runs/predict/exp在哪里查看?
  • YOLOFuse和原版YOLOv8有什么区别?双模态能力是关键
  • 2025 12月总结
  • YOLOFuse Docker镜像拉取命令分享:一行搞定部署
  • YOLOFuse移动端推理框架NCNN适配进展
  • Arch Linux 嵌入式开发(Stm32) 开发环境配置(亲测有效)
  • UltraISO注册码最新版可用吗?配合YOLOFuse系统镜像刻录
  • YOLOFuse性能优化建议征集:让模型更快更小
  • YOLOFuse是否支持PID控制集成?机器人视觉应用前景
  • YOLOFuse用户认证机制设计:JWT Token权限管理
  • 代付业务解析
  • 一个关于时间、节奏和前端动画的小实验:新年倒计时
  • C语言与CUDA内存优化实战(从入门到精通的稀缺技术手册)
  • YOLOFuse能否用于ComfyUI图像处理流程?技术可行性分析
  • YOLOFuse TileNet 超分辨率重建辅助清晰化
  • YOLOFuse API接口设计草案:为后续产品化做准备