当前位置: 首页 > news >正文

hudi系列-文件系统视图(FileSystemView)

hudi表的数据一直在演变过程中,存储在文件系统中的数据文件也在不断增加和版本迭代,hudi提供了表级别的文件系统视图(filesystem view)来简单、直观地了解表中的数据分布情况、数据文件的状态和变化,以及数据的版本控制信息。文件系统视图提供了以下一些功能:

  1. 获取最新的base文件:整个表的、指定分区的、指定分区的文件组的(BaseFileOnlyViewWithLatestSlice)
  2. 获取指定分区所有base文件、获取指定分区某版本(fileId+instant)的base文件(BaseFileOnlyView)
  3. 获取最新分片信息:指定分区、指定文件组、指定分区未compact的、指定分区在某instant前的、指定分区在某instant范围的(SliceViewWithLatestSlice)
  4. 获取指定分区所有分片(SliceView)
  5. 获取指定分区所有分组、获取timeline、获取正compact的信息、获取正clustering的文件组、获取replacecommit产生的文件组(TableFileSystemView)

当然,文件系统视图持续进行着自我更新、重置,以保持最新视图。

  • hudi 0.13.1

类图

  1. TableFileSystemView,BaseFileOnlyView</
http://www.jsqmd.com/news/1389764/

相关文章:

  • Maya glTF插件终极指南:实现3D模型跨平台转换的完整解决方案
  • 如何安全移除npm全局sudo权限?npm-g_nosudo工具10分钟快速上手教程
  • AI水墨画创作指南:从零生成墨韵幻象数字艺术
  • 数学建模竞赛全流程实战:从团队组建到论文写作的获奖经验复盘
  • Go 的 strings.Builder 实战:拼接性能、Grow 预分配与何时该用 bytes.Buffer
  • 4小时指挥一个AI动画工厂:从风格圣经到定时任务的完整拆解
  • 抖店订单消息自动提醒
  • 产业互联网大厂Java面试实录:JDK17、Redis分布式锁、Kafka订单削峰、Seata分布式事务、Spring AI+RAG智能供应链助手,谢飞机三轮被虐哭(附完整答案解析)
  • 解决方案:AD、Mutisim等设计软件卡在加载页面无法打开
  • Ring-2.6-1T性能评测:87.60分PinchBench成绩背后的技术实力
  • C++-DLL开发环境搭建
  • 数学建模竞赛实战指南:从解题思路到完整论文的系统方法论
  • vue3动态路由详细效果
  • Windows Elevation项目最佳实践:提升系统安全性的漏洞修复策略
  • 数学建模竞赛实战指南:从问题抽象到论文写作的全流程解析
  • DyberPet 桌面宠物框架:如何用 30 分钟让喜欢的角色住进你的电脑桌面?
  • 2分钟零配置上手Tesseract.js:纯前端图片文字识别完整指南
  • Coding Agent的墙式散文:为什么我们需要它用眼睛能看懂的方式说话
  • 辽宁建设培训网站 如何助力从业者职业晋升与技能提升指南
  • APMCM数学建模竞赛备赛指南:从赛题解析到实战策略
  • PHP中的Xdebug是什么?如何使用它进行调试?
  • 单人数学建模竞赛全攻略:从可行性分析到72小时极限生存指南
  • 买车别只看指导价:算清这4项隐性开销,才是真正的用车成本
  • 电铸工艺?微米级孔径筛网?
  • 数学建模竞赛实战指南:从模型构建到论文撰写的全流程解析
  • 网站建设报价模块揭秘:为何你的企业官网预算总是失控?
  • Docker Compose镜像整体导出与还原:离线环境迁移完整指南
  • 设计师必备:高效下载国外设计资源的实战指南与工具链
  • 走难而正确的路,美尔凯特为何会走向厨房空调领域?
  • APMCM数学建模竞赛全攻略:从邀请函解读到论文提交的实战指南