当前位置: 首页 > news >正文

HDFS文件系统

HDFS文件系统是hadoop生态系统的核心,主要用于分布式文件存储,它具备高可用,流式读取,文件结构简单,跨平台的特点,它的集群采用的是主从结构,分为命名节点和数据节点,命名节点主要用于元数据管理(例如对目录,文件的创建,数据块与数据节点的关系维护管理)及数据节点管理(例如数据节点之间数据的复制,节点状态的维护,节点间数据的均衡),该文件系统最基本的存储单位是block即数据块,默认大小是64M,这样干有什么好处呢,通过对大数据文件进行块状拆解有利于大化小,进行快速存储,及移动复制。

HDFS由名称节点和数据节点构成,一个集群只有一个名称节点,可以有多个数据节点

名称节点主要用于元数据维护和数据节点管理,它由FsImage(元数据镜像)和EditLog(操作日志)两部分组成。

数据节点主要用于数据的存储和读取,会根据名称节点规划好的位置进行数据的存储,并且定期向名称节点发送自己所存储的块的列表

hdfs存取基本过程:

存:hdfs客户端向命名节点发送写请求,命名节点进行写权限校验(对于同一个hdfs文件,同一个时间只能有一个写入),进行元数据创建,返回FSdata outputstream对象,hdfs客户端接到该对象后,与数据节点交互进行数据写入

读:hdfs客户端向命名节点发送读请求,在目录中查询hdfs文件,返回FSdata inputputstream对象,hdfs客户端接到该对象后,与数据节点交互进行数据读取

hdfs采用传统的目录文件结构,它的操作命令也与Linux的目录文件操作命令相似,例如创建目录:hadoop fs -mkdir /mulu 复制: hadoop fs -cp 查看: hadoop fs ls

上传文件:hadoop fs -put 下载:hadoop fs -get

hdfs也提供了简单易用的java api接口,可以实现上述的命令功能

http://www.jsqmd.com/news/22619/

相关文章:

  • Java 类加载器
  • 面试总被追问k8s调度器工作原理, 收藏 == 学废
  • 题解:十二重计数法
  • Wyn 商业智能软件:3D 可视化大屏搭建与设备利用全指南
  • 什么是Java Lambda
  • Java 代理
  • 《算法与数据结构》第七章[算法2]:广度优先搜索(BFS) - 指南
  • 中转API为什么比官方更便宜?AI中转站成本揭秘
  • Java 混合编程
  • Java 语法糖
  • JAVA RMI编程
  • 大资料毕业设计选题推荐-基于大数据的全球产品库存数据分析与可视化系统-大材料-Spark-Hadoop-Bigdata
  • 纸笔群群友命题乱做
  • 本人对KMP如何匹配到所有结果的算法存在一些疑惑...
  • 字符与Java国际化编程
  • Ubuntu 系统 /dev/sdb2(RAID 关联磁盘)挂载操作手册
  • 2025 年 10 月厨房排烟、厨房排烟罩、厨房排烟系统厂家最新推荐,资质、案例、售后三维测评与选购指南
  • 解决 Windows 下 Claude 通过 cmd/powershell 运行出错失去响应的问题
  • # Ubuntu 根目录空间扩展操作手册(基于 RAID 关联磁盘 /dev/sdb2)
  • 013的加密世界权威指南_第二部分
  • Perplexity Comet AI浏览器「等待网络链接」解决方案
  • Redis 持久化 内存模型 - 指南
  • 25.10.25随笔NOIP模拟赛总结
  • 新地球
  • 师生健康信息管理高效的系统|基于SpringBoot和Vue的师生健康信息管理系统(源码+数据库+文档)
  • 详细介绍:在不同开发语言与场景下设计模式的使用
  • 手势检测(充满科技感) - 实践
  • 2025 年 10 月商用厨房设备,酒店厨房设备,大型厨房设备厂家最新推荐,聚焦高端定制需求与全案交付能力
  • zr模拟赛day8T2
  • 实用指南:Android 常见界面布局详解