当前位置: 首页 > news >正文

HDFS javaAPI-windows的IDEA中java文件在linux中的hadoop平台运行

运行前提

1、windows能ping通虚拟机IP地址【虚拟机网络改为桥接模式,改为固定IP】

2、Linux开放端口:9000,9870,8088【使用windows的 PowerShell,执行:Test-NetConnection IP地址 -Port 9000,需要修改linux中hadoop配置文件hdfs-site.xml和core-site.xml】

3、windows配置Hadoop本地依赖

4、Maven中pom.xml文件中引入和linux中hadoop集群版本一致的hadoop依赖

5、hdfs的RPC地址为:hdfs:ip地址:9000,不用9870网页端口

一、在IDEA的Maven项目中创建MkDirDemo类

(1)先确认目录结构(Maven 标准目录,必须按这个来)

项目根目录

└── src

├── main

│ └── java // 业务代码存放位置(创建Java文件在这里)

└── test

└── java // 单元测试代码存放位置

关键前提

main/java 文件夹必须是蓝色源码根目录,否则右键不会出现 Java Class 选项。

(2)hdfs java操作代码输入

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class MkdirDemo { public static FileSystem getFileSystem() throws IOException, URISyntaxException, InterruptedException { Configuration conf=new Configuration(); URI url=new URI("hdfs://192.168.17.128:9000"); final FileSystem fileSystem=FileSystem.get(url,conf,"root"); return fileSystem; } public static void list(String dir) throws Exception{ FileSystem fileSystem=getFileSystem(); FileStatus[] listStatus=fileSystem.listStatus(new Path(dir)); for(FileStatus fileStatus : listStatus){ boolean isDir=fileStatus.isDirectory(); String name=fileStatus.getPath().toString(); System.out.println(isDir+" "+name); } } public static void mkdir(String path) throws Exception{ final FileSystem fileSystem=getFileSystem(); fileSystem.mkdirs(new Path(path)); //遍历文件夹下的内容 list("/"); } public static void create(String path) throws Exception{ final FileSystem fileSystem=getFileSystem(); fileSystem.create(new Path(path)); //遍历文件夹下的内容 list("/"); } public static void delete(String path) throws Exception{ final FileSystem fileSystem=getFileSystem(); fileSystem.delete(new Path(path),true); //遍历文件夹下的内容 list("/"); } public static void main(String[] args) throws Exception{ mkdir("/bigdata"); // delete("bigdata"); // create("demo.txt"); } }

(3)验证pom.xml文件中hadoop依赖是否和linux中hadoop版本一致

在linux中查看hadoop版本

hadoop version

修改Maven项目中pom.xml中的hadoop依赖版本与其一致,并更新Maven

(4)确认 HDFS RPC 地址(关键)

Linux 执行查看代码连接地址:

hdfs getconf -confKey fs.defaultFS

# 输出应为 hdfs://192.168.17.128:9000

二、Windows 本地配置 Hadoop 运行环境(必做,否则报 winutils 缺失)

(1)下载 Windows 适配 hadoop 二进制包Hadoop3.x 下载对应 win 工具包,解压到无中文路径,例:D:\hadoop-3.x-win

内部 bin 文件夹包含 winutils.exe、hadoop.dll2.2 Windows 系统环境变量配置

(2)新建系统变量:HADOOP_HOME=D:\hadoop-3.x-win

(3)Path 新增:%HADOOP_HOME%\bin

(4)重启 IDEA(环境变量生效)

三、虚拟机 Linux 网络 & 防火墙配置

(1)虚拟机网络设置VMware/VirtualBox 网卡改为桥接模式,重启虚拟机,IP 固定为 192.168.17.128

linux中查看虚拟IP:

ip addr

Windows CMD 测试连通:ping 192.168.17.128

(2) Linux 放行端口bash运行

(1) 永久开放RPC 9000、网页9870、YARN8088

firewall-cmd --add-port=9000/tcp --permanent

firewall-cmd --add-port=9870/tcp --permanent

firewall-cmd --add-port=8088/tcp --permanent

firewall-cmd --reload

# 查看开放端口

firewall-cmd --list-ports

测试时:可以直接关闭防火墙systemctl stop firewalld

(2)修复hadoop配置【可以解决windows中ping通虚拟机IP地址访问9000端口】

进入 hadoop 配置目录

cd $HADOOP_HOME/etc/hadoop

修改配置一:vim hdfs-site.xml,添加下面配置,让 NameNode 监听全部网卡

<property>

<name>dfs.namenode.rpc-bind-host</name>

<value>0.0.0.0</value>

</property>

修改配置二: core-site.xml

错误写法(仅本地访问):

<value>hdfs://localhost:9000</value>

正确写法(绑定虚拟机实际 IP):

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.17.128:9000</value>

</property>

第三步:重启 Hadoop 集群生效

第四步:启动完再次执行 netstat -tlnp | grep 9000,确认 Local Address 变为 0.0.0.0:9000。

tcp 0 0 0.0.0.0:9000 0.0.0.0:* LISTEN 1234/java【正确】

0.0.0.0:9000 = 监听所有网卡,Windows 可以连接。

tcp 0 127.0.0.1:9000 0.0.0.0:* LISTEN 1234/java【错误】

127.0.0.1:9000 = 仅本机 Linux 内部能访问,Windows 远程直接拒绝连接。

最后验证端口是否通:

windows中 PowerShell 端口检测工具(比 curl 更直观)

Win+X 打开 PowerShell,执行:

Test-NetConnection 192.168.17.128 -Port 9000

返回 TcpTestSucceeded: False = 端口被拒绝;True = 端口正常

四、执行

执行结果如下图所示:

http://www.jsqmd.com/news/1078354/

相关文章:

  • P89LPC92x1中断与I/O配置实战:从原理到避坑指南
  • 脉冲神经网络多级脉冲设计与能效优化
  • HTTPS 性能优化完全指南:从原理、硬件到架构的全链路调优实战
  • 手动构造链表和二叉树
  • SaaS和低代码厂商的智能体转型路径:两场范式级转型的路线图
  • 2026命理软件付费前怎么看?八字排盘App要看使用频率和可替代成本
  • oauth2授权码模式完整流转
  • DonkeyCar存储系统深度解析:SD卡选型、ext4优化与路径陷阱
  • JSON Schema验证实际应用场景案例
  • JMeter压力测试实战:AI音效生成服务性能调优全解析
  • OpenCloudOS Server 9 安装 Nginx 完整指南
  • MHmarkets:注重效率的使用者更在意的投教内容,这里做个标准对照
  • 项目上线了
  • 【题解】WebGoC绘图题目精选整合集
  • 【Java踩坑笔记】【基础语法篇】05_重写equals不重写hashCode会怎样?
  • 小白stm32入门教程学习记录:3-2 LED闪烁流水灯
  • 有哪些专业的匹克球拍公司可以推荐?
  • 机房运维台账怎么做才算到位
  • 终极指南:企业级远程控制平台billd-desk私有化部署全流程
  • AI培训行业变化:必火AI与传统机构对比
  • MCP服务器:AI与外部工具安全交互的协议中枢
  • 【每天认识一个国家 | 韩国】
  • 你的业务真的需要现代化改造吗?无服务器、托管服务、自建EC2,别选错了
  • 2026深度实测|两大主流AI编程工具vibe coding迭代能力全方位对比
  • 如何在老旧硬件上安装Windows 11:FlyOOBE完整技术指南与实战方案
  • 假面真贷:一场信贷伪冒申请的“全链路“围剿
  • VMware NSX入门终极私藏包:NSX Manager API调用大全+Postman集合+拓扑自动生成Python工具(限前500名领取)
  • 2026年车规芯片产业交流平台实力盘点:TOP5车规级半导体展会精选分析
  • 2026实测:高性价比AI编程工具替代方案全梳理
  • 2026亚洲EMBA客观测评:科学选型与优质项目解析