当前位置: 首页 > news >正文

【赵渝强老师】部署Hadoop本地模式

1

​在部署Hadoop之前,需要对Hadoop的目录结构要有一定了解。

image.png
点击这里查看视频讲解:【赵渝强老师】部署Hadoop本地模式

先执行下面的语句将Hadoop的安装介质解压的/root/training目录。

tar -zxvf hadoop-3.1.2.tar.gz -C ~/training/

下面展示了Hadoop的目录结构。

2

为了方便操作Hadoop,需要设置HADOOP_HOME的环境变量,并把bin和sbin目录加入系统的PATH路径中。下面列举了具体的步骤。

(1)编辑文件~/.bash_profile文件。

vi /root/.bash_profile

(2)输入下面的环境变量信息,并保存退出。

HADOOP_HOME=/root/training/hadoop-3.1.2
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

(3)生效环境变量。

source /root/.bash_profile 

Hadoop在本地模式下将没有HDFS和Yarn。因此,Hadoop本地模式只能测试MapReduce任务,并把MapReduce任务运行本地,与运行一个普通的Java程序完全一样。Hadoop本地模式的配置非常简单,只需要修改一个参数即可。下面以bigdata111的虚拟主机为例,演示如何完成Hadoop本地模式的部署。

(1)进入Hadoop配置文件所在的目录

cd /root/training/hadoop-3.1.2/etc/hadoop/

(2)修改文件hadoop-env.sh,设置JAVA_HOME

export JAVA_HOME=/root/training/jdk1.8.0_181

至此Hadoop本地模式配置完成,可以来测试一个简单的MapReduce WordCount程序。。

(3)在/root/temp目录下创建data.txt文件用于保存测试数据。

mkdir /root/temp/
cd /root/temp
vi data.txt

(4)在data.txt文件中输入测试数据。

I love Beijing
I love China
Beijing is the capital of China

(5)进入Hadoop MapReduce的Example目录,并执行WordCount程序。任务运行的过程如下图所示。

cd /root/training/hadoop-3.1.2/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.2.jar wordcount /root/temp/data.txt /root/output/wc

3

(6)最后的结果将输出到/root/output/wc下,如下图所示。

4

http://www.jsqmd.com/news/98281/

相关文章:

  • 2025年五大口碑好的短视频拍摄专业公司排行榜,实力强的比较 - 工业推荐榜
  • 从专业到服务的全面解析:2025 北京律所口碑排名,这 3 家线上机构值得推荐 - 苏木2025
  • Vue3文档编辑器如何让你的写作效率翻倍?Umo Editor深度体验
  • 2025年五大数控机床老牌厂家排行榜,新测评精选数控机床定制 - myqiye
  • 终极指南:5分钟上手FLAN-T5 XL大语言模型
  • 【软件测试】6_基础知识 _Javascript - 实践
  • Transformer模型详解入门:借助清华镜像快速获取TensorFlow预训练模型
  • 2025年评价高的家具板/全屋定制家具板热门厂家推荐榜单 - 品牌宣传支持者
  • 2025年国内评价高的工厂吸污厂家怎么选,行业内评价高的工厂吸污电话技术领航,品质之选 - 品牌推荐师
  • 2025年靠谱的全自动旋转蒸发器用户口碑最好的厂家榜 - 品牌宣传支持者
  • 33、Ubuntu服务器故障排查全攻略
  • 告别单打独斗!一场关乎独立开发者未来的“对话”即将开启
  • polar靶场-MISC,WEB(中等) - 详解
  • 终极指南:al-khaser反调试技术深度实战解析
  • 如何高效配置Flutter CanvasKit渲染方案:5个关键优化策略
  • Windows Server 2022官方镜像完整获取指南:从下载到验证的全流程
  • 树莓派零成本自动化侦察实战指南:theHarvester高性能部署方案
  • 2025年口碑好的DIY激光刻字售卖机/照片打印售卖机TOP实力厂家推荐榜 - 品牌宣传支持者
  • 告别手动配置!10秒搞定JVM参数,这个在线工具太强了
  • GLAD:谐振腔的优化设计
  • React CSS Modules升级实战:从样式冲突到模块化架构的华丽转身
  • 北京律师事务所实力排名:2025-2026 权威评测与高性价比机构名单 - 苏木2025
  • 2025中国充电桩十大品牌榜单:技术转化与场景深耕成行业主旋律 - 速递信息
  • Ventoy新一代多系统启动U盘解决方案
  • JW-A分液漏斗振荡器的操作要点 - 品牌推荐大师
  • 9 个自考开题演讲稿工具,AI 写作降重推荐
  • DataEase开源BI工具完整指南:从零开始的数据可视化之旅
  • 2026毕设ssm+vue基于框架的宠物商城平台论文+程序
  • 3步掌握Lottie动态渐变:让你的APP动起来
  • C++多线程之原子操作 std::atomic