当前位置: 首页 > news >正文

【赵渝强老师】Hadoop HDFS的回收站和快照

b462

Hadoop的HDFS除了最基本的上传数据和下载数据的功能以外,还提供了很多高级特性用于方便使用和操作,主要有:回收站、快照、配额管理、安全模式、权限管理,同时从Hadoop 3.x开始还提供了纠删码技术。

image.png
点击这里查看视频讲解:【赵渝强老师】Hadoop HDFS的回收站和快照

下面分别介绍HDFS提供的回收站和快照。

一、 HDFS的回收站

在默认的情况下,HDFS的回收站功能是关闭的。可以通过在core-site.xml中添加fs.trash.interval来配置时间阀值,从而启用HDFS的回收站。例如:

<property><name>fs.trash.interval</name><value>1440</value>
</property><!-- 由于修改了HDFS的配置文件,需要重启HDFS。 -->

启用回收站后,当删除HDFS文件时,其本质是将要删除的文件或者目录放入回收站对应的目录。例如,当删除/input/data.txt文件时,将看到如下的日志信息。

2026-01-15 20:55:31,387 INFO fs.TrashPolicyDefault: 
Moved: 'hdfs://bigdata111:9000/input/data.txt' to trash at:
hdfs://bigdata111:9000/user/root/.Trash/Current/input/data.txt

回收站里的文件可以快速恢复。但当回收站里文件的存放时间超过返个阈值,就被彻底删除,并且释放占用的数据块。例如,在上面的设置中设置的时间阈值是1440分钟,即一天的时间。下面列举了一些HDFS回收站的基本操作。
(1)查看回收站。

hdfs dfs -lsr /user/root/.Trash/Current

(2)从回收站中恢复。

hdfs dfs -cp /user/root/.Trash/Current/input/data.txt /input

(3)清空回收站。

hdfs dfs -expunge

二、 HDFS的快照

一个快照(Snapshot)是一个全部文件系统、或者某个目录在某一时刻的镜像。这里其实可以把HDFS的快照理解成是HDFS提供的一种备份机制。快照应用在以下场景中:

  • 防止用户的错误操作
  • 备份
  • 试验/测试
  • 灾难恢复

由于HDFS的快照功能是针对的目录,因此需要首先使用HDFS的管理员命令开启目录的快照功能,再使用HDFS的操作命令创建目录的快照。

#与快照相关的HDFS管理命令[-allowSnapshot <snapshotDir>][-disallowSnapshot <snapshotDir>]#与快照相关的HDFS操作命令[-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshotDir> <snapshotName>][-renameSnapshot <snapshotDir> <oldName> <newName>]

下面通过具体的步骤来演示如何使用HDFS的快照。
(1)开启/input目录的快照功能。

hdfs dfsadmin -allowSnapshot /input

(2)为/input目录创建第一个快照。

hdfs dfs -createSnapshot /input bk_input_20260115_01# 在创建HDFS快照的时候,最好遵循一个良好的命名规则。
# 例如,这里创建的快照名称为bk_input_20260115_01,
# 表示在2026年1月15日为input目录创建的第一个快照。

(3)上传一个新的文件到/input目录,如:data1.txt。

hdfs dfs -put data1.txt /input

(4)为/input目录创建第二个快照。

hdfs dfs -createSnapshot /input bk_input_20260115_02

(5)对比/input目录的两个快照。

hdfs snapshotDiff /input bk_input_20260115_01 bk_input_20260115_02# 输出的信息如下:
Difference between snapshot bk_input_20260115_01 and snapshot bk_input_20260115_02 under directory /input:
M	.
+	./data1.txt# 通过对比快照可以看出第二个快照比第一个快照多了一个文件data1.txt。

(6)通过HDFS的Web Console也可以查看快照的相关信息,如下图所示。
image

http://www.jsqmd.com/news/1192985/

相关文章:

  • openeuler/deepin-rpm-installer未来展望:即将到来的新功能与改进路线图
  • 口碑好的绍兴1688运营服务商 - 热点速览
  • PromptKG完全指南:一站式掌握提示学习与知识图谱研究的终极资源库
  • 宁波中央空调维修上门师傅推荐|多联机检修-风管机清洗-商用机组维保持证上门-欧米到家 - 欧米到家
  • 浪琴中国官方专柜客户电话权威信息通告(2026年7月最新) - 浪琴服务中心
  • 马斯克杀回智能体战场,Grok 4.5万亿参数撑腰,Cursor接手数字白领项目
  • OS-Lib 路径操作深度解析:Scala 中的安全路径处理实践
  • Linux内存管理:从原理到实践优化指南
  • 铜排焊点松了IGBT就烧了:新能源电控的毫米级焊接精度战
  • IPv6特殊地址:从链路本地到全球单播的深度解析
  • ROS2源码安装:从新手避坑到工程实践的完整指南
  • Java 技术在音视频、微服务与在线教育中的应用探讨
  • 2026年吉安小型酒店客房全套装修公司推荐攻略|本地工装避坑要点汇总 - 热点速览
  • CCPS GitOps实践:使用ArgoCD实现声明式应用部署的完整流程
  • 2026乌鲁木齐除甲醛市场深度测评:绿舒环保等5家正规机构解析 - 绿舒环保母婴除甲醛
  • 百达翡丽中国官方售后服务中心|官方电话及详细维修地址权威信息公告(2026年7月最新) - 百达翡丽服务中心
  • 2026长春燃气蒸汽锅炉生产厂家综合排行参考指南 - 奔跑123
  • TI CC1352P双频无线SoC射频性能深度解析与设计实战
  • 使用 Trae IDE 攻坚 MES5 项目的心得体会——当AI成为开发者的“第二大脑”
  • 起搏器外壳焊漏了谁负责?植入器械气密封装的微米级精度战
  • Skidfuscator社区版vs企业版:10个关键差异和选择指南
  • 【PC】Mouse Trail 0.5.2-Windows 鼠标拖尾与点击动态特效
  • 欧米茄官方售后服务中心地址与服务热线实地考察报告_多信源验证(2026年7月更新) - 欧米茄服务中心
  • UITextField-Shake入门教程:3分钟实现输入框错误提示动画
  • 2026 西安卫生间防水层漏水口碑好维修团队 TOP4:本地修缮实力企业测评 专业防水公司排名推荐(2026年5月防水补漏最新TOP权威排名) - 冠盾建筑修缮
  • 2026 西安需要黄金回收人群画像调研,不同年龄段变现踩坑类型汇总 - 融媒生活
  • ADC架构选型指南:从原理到应用的深度解析
  • uos-exporter安全指南:TLS加密、认证授权和访问控制配置
  • 液冷板焊不好,浸没式也救不了你:两种液冷路线的焊接账
  • OpenCV Haar分类器训练实战:人脸检测器从数据准备到部署