当前位置: 首页 > news >正文

旧Hadoop和新Windows怎么搭 - Windows下编译Hadoop 3.2.1实战指南

老旧的hadoop 怎么编译部署到新版本的windows服务器上

网上是有不少现成的hadoop windows二进制文件的,但都是有特定的编译环境和相应的系统兼容范围的。总有那么一些时候,现成的不管用,我们得自己来稍作调整,然后自己编译。

本笔记是基于在 Windows 11 上为Windows Server 2019编译 Hadoop-3.2.1 实践而整理。其他的版本组合下,做法类似。

此次实践过程中反复使用AI对话框豆包查询和解决报错。上一次尝试编译时还没有如此便捷的工具,那个时候需要自己提炼关键词去搜索,而这一次,我可以将报错信息完整复制到对话框中,得到的答案要么直接可以使用,要么很有启发。

BUILDING.txt

源代码中,有 BUILDING.txt 说明如何构建。其中有Building on Windows的章节。由于外部工具的变化,简单遵循该内容不能完成编译,但其内容主体提供了重要的信息。

需要的前置条件:

  1. Java JDK 1.8
  2. Maven 3.0+
  3. ProtocolBuffer 2.5.0
  4. CMake 3.1+
  5. Visual Studio 2010 Professional or Higher
  6. Windows SDK 8.1 - (optional, CPU rate control)
  7. zlib - native code bindings for zlib, 版本 zlib-1.2.7
  8. Internet connection - downloading Maven and Hadoop Dependencies
  9. Unix command-lines tools from GnuWin32: sh, mkdir, …
  10. Python - docs

需要注意的问题:

  1. 不要使用 Visual Studio Express, 不支持 64-bit compiling。 此条不再成立。我们此次使用了 Visual Studio Community 2026。
  2. 下载 Windows SDK 8.1 的链接 - 此条不再成立,在2026年此链接指向了11和10。我们此次使用了 Windows SDK 11。
  3. 超过 Windows 最长路径的限制的问题. 使用 win-paths-eg.cmd 提供的参考,对编译命令中涉及的文件采用最短的路径。我们采用了新版本的maven插件来缓解此问题。
  4. 在windows上的编译,native是必须的而不是可选的。

工具安装位置

除了Visual Studio和Windows SDK,我们将其他的小型工具都统一放到c:\tools下。

注意我们的重点是编译windows native部分,而其他的部分我们采用hadoop官方分发的编译后的版本。在编译成功后,只需要将windows native文件覆盖到官方分发目录中即可。

准备

Java 1.8

现在有多个厂家提供基于openjdk的分发可下载,如 amazon, openlogic等。

这里采用的是 amazon 提供的分发, amazon-corretto-8.482.08.1-windows-x64-jdk,建议下载zip版本,解压到 c:\tools。

Maven 3.0+

搜索,然后下载 cmake-3.31.11-windows-x86_64.zip 这个是3.x系列的最新版本。解压到 c:\tools下。

maven执行时会从远程下载下载大量的依赖jars,需要配置国内mirror来加速下载。可以在用户目录下的.m2/settings.xml,或实际上是可以直接在maven home/conf/settings.xml中配置,且更方便.

<mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>阿里云公共仓库</name><url>https://maven.aliyun.com/repository/public
http://www.jsqmd.com/news/615345/

相关文章:

  • 基于springboot+vue高校学术交流平台hx1436
  • 多云天最容易把光伏现货报价带偏:被扣分的,往往不是交易员
  • 江苏酱香酒选购避坑指南:2026年这5家生产商口碑与实力解析 - 2026年企业推荐榜
  • 5个关键场景深度解析:为什么你需要这个免费的Windows自动点击器
  • 2026年社区生活服务优质平台推荐:上门洗护、家政保洁、家电清洗、维修疏通、养老陪护、速婆生活以便民服务筑牢社区生活根基 - 海棠依旧大
  • 零基础玩转RE-UE4SS:从安装到实战的全流程指南
  • 实验3.栈和队列 - sjj
  • GraphRAG中settings.yaml文件详解(学习笔记)
  • 2026年防剐蹭车衣核心供应商名录:绝缘与屏蔽膜/航空级尼龙布/航空阻燃标准尼龙布/超薄尼龙布/防火尼龙布/选择指南 - 优质品牌商家
  • 基于springboot+vue个人健康管理系统hx1441FEZG
  • 嵌入式Linux开发常见问题解决:内核编译与NFS根文件系统启动卡住
  • 记一次综合型流量分析 | 添柴不加火酪
  • 2026年充电桩服务优质企业最新推荐:7kw交流充电桩、220V充电桩、30kw、60kw直流充电桩、江苏安科瑞电能以专业设备助力绿色出行 - 海棠依旧大
  • Pyfa:EVE Online舰船配置的离线解决方案
  • Spire实现Wod与Pdf相互转换
  • 将盾CDN:安全架构设计中的纵深防御理念
  • X.25是在公用数据网上以分组方式进行操作的DTE(数据终端设备)和DCE(数据通信设备)之间的接口规范
  • 加州大学洛杉矶分校、腾讯混元等推出Unify-Agent
  • 【毫米波混合波束成形】第9章 多用户MIMO与干扰抑制的深度学习
  • 2026年优质黑莓原浆产品及相关企业最新参考推荐:纳富山有机黑莓原浆、生态黑莓饮品、非浓缩黑莓原浆、天然黑莓原浆、有机莓果原浆、无添加黑莓汁、以天然品质守护健康饮食 - 海棠依旧大
  • 3、主从复制实现同步数据过滤
  • 基于电气距离与区域调节能力的分布式最优潮流控制技术
  • Agent能和企业现有 SaaS 工具打通吗?深度拆解2026年企业级智能体集成路径与实战指南
  • 将盾CDN:代码审计与安全测试的方法论
  • 面试题设计模式
  • 、SEATA分布式事务——XA模式泳
  • 无后门无恶意代码,精选安全可靠的企业级源码,经过严格测试,保障系统稳定运行
  • 超流体真空理论:光速本质、微观粒子结构与量子纠缠拓扑机制
  • 将盾CDN:身份与访问管理的最佳实践
  • 2026年哈尔滨婚纱摄影靠谱机构最新推荐:法式婚纱照、新中式婚纱照、生日写真、森系婚纱照、草坪婚纱照、韩式婚纱照、、哈尔滨禧禾婚纱摄影工作室,以匠心定格爱情,用镜头留存美好 - 海棠依旧大