当前位置: 首页 > news >正文

hiveserver2配置prometheus因使用mr引擎报错解决

背景和原因分析

hiveserver2配置prometheus需要使用到-javaagent:/cluster/hive/jmx-exporter/jmx_prometheus_javaagent-0.12.0.jar=28054:/cluster/hive/jmx-exporter/hiveserver2-agent.yaml

如果在HADOOP_OPTS或者HADOOP_CLIENT_OPTS配置javaagent,则hiveserver2在启动mapred时候同样会使用HADOOP_OPTS或者HADOOP_CLIENT_OPTS,就会导致hiveserver2的端口和mapred都启动javaaagent,他们又使用了相同的端口,hiveserver2先启动的就占用了此端口,mapred启动后无法使用端口就报了端口冲突错误。

Hiveservers2是在hadoop命令中启动,传递环境变量(HADOOP_OPTS,HADOOP_CLIENT_OPTS)会传递给mapred程序,导致和已有的端口冲突。

hiveserver2其他引擎spark、tez不会使用HADOOP_OPTS,HADOOP_CLIENT_OPTS启动计算任务,因此不会引发这个问题。

日志

hivesever2报错日志:

MapReduce Total cumulative CPU time: 5 seconds 990 msec
Ended Job = job_xxxxxxxxxx
java.lang.reflect.InvocationTargetException     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at sun.instrument.InstrumentationImpl.loadClassAndStartAgent(InstrumentationImpl.java:386)at sun.instrument.InstrumentationImpl.loadClassAndCallPremain(InstrumentationImpl.java:401)
Caused by: java.net.BindException: Address already in useat sun.nio.ch.Net.bind0(Native Method)at sun.nio.ch.Net.bind(Net.java:433)at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)at sun.net.httpserver.HttpServerImpl.bind(HttpServerImpl.java:54)at io.prometheus.jmx.shaded.io.prometheus.client.exporter.HTTPServer.<init>(HTTPServer.java:145)at io.prometheus.jmx.shaded.io.prometheus.jmx.JavaAgent.premain(JavaAgent.java:31)... 6 more
Execution failed with exit status: 134
Obtaining error information

beeline报错如下:

ERROR : Execution failed with exit status: 134
ERROR : Obtaining error information
ERROR : 
Task failed!
Task ID:Stage-5Logs:ERROR : /var/de_log/hive/hiveserver2.log
ERROR : FAILED: Execution Error, return code 134 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
http://www.jsqmd.com/news/414947/

相关文章:

  • 2026年能率热水器维修24小时厂家最新推荐:瑞美热水器24小时维修/能率壁挂炉24小时维修/选择指南 - 优质品牌商家
  • 2026年太原装修/装潢/全屋整装/新房装修/旧房翻新公司竞争格局深度分析报告 - 2026年企业推荐榜
  • 多模态大模型微调框架之transformers
  • 2026主流CRM选型攻略:14款系统全解析,适配不同企业需求
  • 企业劳务派遣怎么选?五大服务商适配国企+项目制派遣 - 包罗万闻
  • 五大实力劳务派遣服务商,赋能高端人才/蓝领/白领全品类派遣 - 包罗万闻
  • JSON 规范与 RFC 标准速查
  • 2026年2月太原装修/装潢/全屋整装/新房装修/旧房翻新公司竞争格局深度分析报告:五强争霸与差异化突围 - 2026年企业推荐榜
  • AI时代,渗透测试工作将如何开展?
  • 专业化健康管理实训室,助力康养人才精准培育
  • 计算机毕业设计之基于JavaWeb的汽配销售管理系统
  • Bun 运行时就完成所有得事情,类似于 Node.js - 广东靓仔
  • vue+nodejs+ElementUi的课程作业资源管理系统 电子教务管理系统
  • 2026贵阳养老院/敬老院/护理院哪家好?TOP5榜单:康祥养老院领衔,五大优质机构温暖守护银发人生 - 深度智识库
  • 多模态大模型微调框架之unsloth
  • 计算机毕业设计之jsp舞台服装出租管理系统
  • 2026年深圳汽车租赁服务推荐:麻花租车领衔,豪车/商务/私家车/跨境汽车租赁全场景出行解决方案 - 品牌推荐官
  • 2026年全国涂塑钢管哪家好?可靠优质 覆盖全国多区域适配需求 - 深度智识库
  • 2026年2月蒸汽锅炉厂家推荐,应急备用与持续供汽实力厂家 - 品牌鉴赏师
  • 2026年(最新)耐磨瓷砖十大品牌核心工艺与厂家推荐:从4大核心维度拆解十大品牌靠谱榜单 - 野榜精选
  • 2026劳务派遣公司优选,适配服务业/制造业全场景派遣需求 - 包罗万闻
  • 【车辆】两级式车载充电机单相Boost-PFC+全桥LLC谐振变换器闭环PSIM仿真
  • [ARC212C] ABS Ball题解
  • 2026年评价高的热水器维修公司推荐:万家乐壁挂炉官方维修/万家乐热水器官方维修/八喜热水器官方维修/选择指南 - 优质品牌商家
  • Xilinx SDK 2019.1 使用 JTAG 将 10MB 文件 复制到 ZYNQ 的 DDR中 大约 2秒
  • 2026年VPSA制氧机与PSA制氧设备厂家推荐:工业大型制氧装置专业供应商精选 - 品牌推荐官
  • 【FAQ】HarmonyOS SDK 闭源开放能力 — Account Kit
  • 2026年重庆镀锌钢管厂家哪家强? 靠谱耐用 适配不同规模需求 - 深度智识库
  • 开发程序员转行至AI大模型领域的详细攻略,从程序员到AI大模型专家:一份详尽的转行攻略与学习资源
  • 2026年烟囱塔/角钢塔/监控塔/雷达塔/电力塔厂家推荐:衡水盛众钢结构专注多场景铁塔供应 - 品牌推荐官