当前位置: 首页 > news >正文

spark读hive偶尔出现table not found

1、问题发现:

在spark环境调试业务过程中,出现table not found问题,重跑之后改问题又消失,后面发现有一定概率出现该问题

2、问题定位:

spark环境中是通过hive-site连接hive hive.metastore,查看hive.metastore.uris配置,发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因,猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri,多次测试后发现,连接到ip1:9083和ip3:9083时,会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083,同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因

http://www.jsqmd.com/news/100824/

相关文章:

  • keyence颜色传感器LR-W70使用(最多可区分16种颜色)
  • Wan2.2-T2V-A14B模型部署与高保真T2V实战
  • Kubernetes Debug 专用镜像实践指南
  • AIGC简介
  • LangGraph4j 入门
  • 基于VUE的企业信息管理系统 [VUE]-计算机毕业设计源码+LW文档
  • Linux SSH隧道代理转发及多层转发
  • 硬核拆解:这套电影解说工作流,如何帮你零成本搭建AI影视解说SaaS
  • 12/16
  • LobeChat安全与权限管理实战解析
  • Nano Banana Pro 如何重塑 AI 驱动的教育未来
  • 黑科技加持,工作效率翻倍!这 9 款小众软件宝藏盘点
  • 女朋友到家前 10 分钟,空调自动开暖风(小智 MCP 实战)
  • 12.12 标签(四) 表格
  • 海报设计无从下手?这3个技巧让你告别空白画布
  • LobeChat能否实现段落缩写功能?长文本精炼助手
  • β-Amyloid (25-35);GSNKGAIIGLM
  • Hutool Beanutil.copyproperties() 是浅拷贝还是深拷贝 - Higurashi
  • 【小白笔记】大数加法
  • 课题申报新手入门必备指南!利用AI辅助搞定 6大关键部分,高效提升申报成功率(附AI提示词)
  • Java面试题含答案——2025年最新完整分享,收藏这篇就够了
  • Flutter状态管理全解析:Provider vs Bloc vs Riverpod实战对比
  • unity中简单控制角色移动及动画实例--以及角色动画抖动残影拖影处理
  • 【小白笔记】二叉树的前序,中序,后序,层序遍历(递归与迭代)
  • 无人机红外图像下极小目标检测数据集,无人机红外小目标检测数据集 低空安防、机场净空监测、反无人机系统、鸟类迁徙监控 YOLOv8** 构建的 **无人机红外图像下极小目标检测系统
  • 深入解析:电压基准芯片详解:从原理到选型,附 TLV431 应用解析
  • 算法题 重构字符串
  • Docker安装轻量级TensorRT镜像用于边缘计算
  • 10390_基于Springboot的影城订票管理系统
  • 2025 年 12 月找靠谱中国 AI 智能体获客老师,麟哥难道不称职?