java.io.IOException: Previous writer likely failed to write hdfs报错解决方案
本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！
- 🚀 魔都架构师 | 全网30W技术追随者
- 🔧 大厂分布式系统/数据中台实战专家
- 🏆 主导交易系统百万级流量调优 & 车联网平台架构
- 🧠 AIGC应用开发先行者 | 区块链落地实践者
- 🌍 以技术驱动创新，我们的征途是改变世界！
- 👉 实战干货：编程严选网
1 报错
$ hive Logging initialized using configurationinfile:/opt/apps/emr/service/hive/package/hive-2.3.9/conf/hive-log4j2.properties Async:trueExceptioninthread"main"java.lang.RuntimeException: java.io.IOException: Previous writer likely failed towritehdfs://xxx:9000/tmp/hivescratchdir/hive-root/root/_tez_session_dir/268b9c6d-0215-417d-889b-b7bd2a06edfa/hadoop-shim-0.9.2.jar. Failing because I am unlikely towritetoo. at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:636)at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:553)at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:750)at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:686)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.hadoop.util.RunJar.run(RunJar.java:328)at org.apache.hadoop.util.RunJar.main(RunJar.java:241)Caused by: java.io.IOException: Previous writer likely failed towritehdfs://xxx:9000/tmp/hivescratchdir/hive-root/root/_tez_session_dir/268b9c6d-0215-417d-889b-b7bd2a06edfa/hadoop-shim-0.9.2.jar. Failing because I am unlikely towritetoo.2 分析
这错误表明 Hive 无法在 HDFS 上写入临时文件，通常权限或 HDFS 存储空间问题，与 Hive 的临时目录权限和 Tez 会话相关。
3 排查
3.1 先检查 HDFS 临时目录权限
Hive 启动时会创建许多临时会话目录，尤其 Tez 引擎下，需确保当前用户对这些目录具有写入权限：
① 确认当前用户是否具有操作 HDFS 临时目录的权限
# 检查 Hive 启动时的用户whoami# 确认用户后执行以下命令来验证权限$ hadoop fs -ls /tmp/hivescratchdir/hive-root/root/_tez_session_dir drwx------ - root supergroup02023-03-2213:52 /tmp/hivescratchdir/hive-root/root/_tez_session_dir/098a8702-e67a-4a77-b073-eb49e290c3cd drwx------ - root supergroup02023-03-2213:39 /tmp/hivescratchdir/hive-root/root/_tez_session_dir/0c4996c3-e8bc-4d09-a198-4f97051d3017...若当前用户对该目录没有写入权限，可切换为hadoop或hdfs用户，再尝试执行 Hive。
② 配置 Hive 的启动用户权限
若系统中 Hive 服务不是使用默认的hadoop用户，建议在hive-site.xml中增加 Hive 的 HDFS 操作权限配置：
<property><name>hadoop.proxyuser.hive.groups</name><value>*</value></property><property><name>hadoop.proxyuser.hive.hosts</name><value>*</value></property># 检查并修复临时目录权限$ hadoop fs -ls /tmp/hivescratchdir Found1items drwx-wx-wx - root supergroup02022-12-1914:45 /tmp/hivescratchdir/hive-root hadoop fs -chmod -R777/tmp/hivescratchdir# 若目录不存在，创建并设置权限hadoop fs -mkdir -p /tmp/hivescratchdir hadoop fs -chmod -R777/tmp/hivescratchdir3.2 确保 Tez 守护进程和 Yarn 正常运行
Hive 通过 Tez 提交到 Yarn 进行执行，因此 Yarn 状态不正常也可能导致 Hive 失败。尝试查看 Yarn 资源管理器和 Tez 应用程序的状态：
yarnapplication -list# 查看正在运行的应用yarnlogs -applicationId<Application_ID># 获取特定 Tez 应用的日志若看到大量失败或异常日志，可能需重启 Yarn 或 Tez 守护进程。
① 清理 Tez 的临时会话目录
# 删除现有的 tez 会话目录hadoop fs -rm -r /tmp/hivescratchdir/hive-root/root/_tez_session_dir3.3 检查 Hive 临时目录
# 检查并修复 Hive 临时目录权限hadoop fs -chmod -R777/tmp/hive若至此还不能解决，尝试：
a. 在 hive-site.xml 中添加或修改以下配置：
<property><name>hive.exec.scratchdir</name><value>/tmp/hive/scratchdir</value></property><property><name>hive.downloaded.resources.dir</name><value>/tmp/hive/resources</value></property>b. 创建并设置这些目录的权限：
hadoop fs -mkdir -p /tmp/hive/scratchdir hadoop fs -mkdir -p /tmp/hive/resources hadoop fs -chmod -R777/tmp/hive3.4 确保 HDFS 服务正常运行
如验证 HDFS 剩余空间，确保 HDFS 上有足够的空间供 Hive 进行临时文件操作。若 HDFS 空间不足，Hive 会在写入临时目录时遇到错误。
# 检查 HDFS 状态$ hdfs dfsadmin -report Configured Capacity:105553760256(98.30GB)Present Capacity:62747512181(58.44GB)DFS Remaining:53281357173(49.62GB)DFS Used:9466155008(8.82GB)DFS Used%:15.09% Replicated Blocks: Under replicated blocks:61Blocks with corrupt replicas:0Missing blocks:0Missing blocks(with replication factor1):0Low redundancy blocks with highest priority to recover:61Pending deletion blocks:0Erasure Coded Block Groups: Low redundancy block groups:0Blockgroupswith corrupt internal blocks:0Missing block groups:0Low redundancy blocks with highest priority to recover:0Pending deletion blocks:0------------------------------------------------- Live datanodes(1): Name:192.168.0.126:50010(icv-etl-gateway)Hostname: xxx Decommission Status:Normal Configured Capacity:105553760256(98.30GB)DFS Used:9466155008(8.82GB)Non DFS Used:38279925760(35.65GB)DFS Remaining:53281357173(49.62GB)DFS Used%:8.97% DFS Remaining%:50.48% Configured Cache Capacity:0(0B)Cache Used:0(0B)Cache Remaining:0(0B)Cache Used%:100.00% Cache Remaining%:0.00% Xceivers:0Last contact: Wed Nov 0614:25:48 CST2024Last Block Report: Wed Nov 06 09:50:12 CST2024Num of Blocks:3421查看到有空间。
若仍有问题，可尝试重启 HDFS：
# 重启 HDFS（如你有权限）stop-dfs.sh start-dfs.sh若问题仍然存在，可查看详细日志：
# 检查 Hive 日志cat/opt/apps/emr/service/hive/package/hive-2.3.9/logs/hive.log还要确认你的 Hadoop 用户有适当的权限操作这些目录。通常使用hdfs或hadoop用户运行相关服务会更好。