大数据运维｜项目02 分布式集群基础配置

大数据分布式集群想要稳定运行，必须先完成基础配置工作。项目02主要围绕连网模式、主机网络、防火墙、时钟同步、JDK环境、集群网络、SSH免密、用户管理展开，是搭建Hadoop集群前最关键的准备环节。掌握这一章，就能解决虚拟机上不了网、主机名不通、节点无法通信、权限异常等高频问题。
在搭建集群前，首先要确保虚拟机能够正常联网，常用检查方式是ping公网地址或使用dhclient重新获取IP。VMware提供三种核心连网模式，桥接模式让虚拟机与物理机处于同一网段，可直接访问外部网络；NAT模式通过地址转换实现上网，虚拟机与物理机不在同一网段；仅主机模式只能与主机通信，一般用于生产环境隔离场景。实际部署中还会用到多网卡设置，通过ip a、ifconfig等命令查看网卡信息，在/etc/sysconfig/network-scripts/目录下修改网卡配置文件，重启network服务即可让IP配置生效。
主机网络配置以NAT模式为基础，先进行网段规划与DHCP设置，再按照集群规划统一分配静态IP。配置网络的核心文件是/etc/sysconfig/network-scripts/ifcfg-ens33，需要修改ONBOOT为yes、BOOTPROTO为static，并配置IPADDR、NETMASK、GATEWAY、DNS等参数。配置完成后通过systemctl restart network重启网络，再用ping命令验证连通性。同时要配置hosts文件实现机器名访问，确保节点之间可以用主机名正常通信。
集群环境必须关闭防火墙，否则会导致节点之间端口无法访问、服务通信失败。CentOS 7关闭防火墙使用systemctl stop firewalld.service命令，用firewall-cmd --state查看状态，学习环境建议永久关闭。时间同步同样重要，Hadoop集群要求所有节点时间一致，否则会引发任务异常、认证失败等问题。通过安装ntp、ntpdate工具，配置ntp服务器并启动ntpd服务，可实现集群节点时间自动同步。
Hadoop生态由Java开发，必须先部署JDK环境。安装方式支持rpm包与压缩包，rpm安装默认路径在/usr目录下。安装完成后需要配置JAVA_HOME、PATH、CLASSPATH等环境变量，编辑/etc/profile文件，配置完成后执行source命令使变量立即生效，最后通过java -version验证JDK是否安装成功。
当第一台虚拟机配置完成后，可通过VMware克隆快速生成其他节点，大幅提高部署效率。克隆完成后必须进行唯一性配置，包括修改主机名、IP地址、UUID、MAC地址，避免冲突导致网络异常。同时可以对系统进行优化，关闭不必要服务、配置DNS、提升网络稳定性，为后续集群搭建做好。
SSH免密登录是集群自动化运维的基础，基于SSH加密协议实现。使用ssh-keygen生成RSA密钥对，私钥保留在本地，公钥通过ssh-copy-id分发到其他节点，实现无需密码登录。免密配置需要在所有节点执行，完成后用ssh命令测试连通性。生产环境禁止直接使用root用户，需要创建普通用户与用户组，设置权限、切换用户、规范操作行为，降低系统风险。
项目02是大数据集群搭建的基石，核心内容包括三种网络模式配置、静态IP设置、防火墙关闭、NTP时间同步、JDK环境部署、虚拟机克隆、SSH免密与用户权限管理。所有操作都是为了保证节点互通、时间一致、权限安全、环境统一，为后续Hadoop、ZooKeeper、HBase等组件安装铺平道路。