第四课 云实验配置分布式模式

当Hadoop采用分布式模式部署和运行时，存储采用分布式文件系统HDFS。而且，HDFS的名称节点（NameNode1个）和数据节点（DataNode多个），（SecondaryNameNode1个，尽量不跟NameNode放在同一个服务器上）位于不同的机器上。这时，数据就可以分布到多个节点上，不同数据节点上的数据计算可以并行执行，这使得MapReduce分布式计算能力才能真正发挥作用。

Yarn：Resource Manager1个，很消耗内存，尽量不要和NameNode，SecondaryNameNode配置在同一台机器上；NodeManager多个

安全拷贝1.从102服务器上将本服务器的文件推给103

scp -r jdk1.8.0__212/ lotus@hadoop103:/opt/module

2.在103服务器上操作，将102的文件拿过来

scp -r lotus@hadoop102:/opt/module/jdk1.8.0__212/ ./

同理，Hadoop也可以这么操作：

scp -r lotus@hadoop102:/opt/module/hadoop-3.1.3/ ./

3.在103服务器上，将102的文件拷贝到104

scp -r lotus@hadoop102:/opt/module/* lotus@hadoop104:/opt/module/

本节使用4个节点搭建集群环境：1个Master节点和3个Slave节点，这4个节点可以看做是4台物理机器。节点的IP地址可以在对应的命令行中使用ifconfig命令查看：

Hadoop集群的安装配置大致包括以下步骤：

（1）选定1个节点作为Master

（2）在Master节点上安装Hadoop，并完成配置。

（3）将Master节点上的Hadoop目录复制到其他Slave节点上

（4）在Master节点上开启Hadoop

配置hosts文件

本次演示中，4个节点的ip地址如下：

（1）master 172.18.0.2

（2）slave1 172.18.0.3

（3）slave2 172.18.0.4

（4）slave3 172.18.0.5

由于我们在docker的启动命令里已经加入了host配置，所以检查发现/etc/hosts文件里映射关系齐全则可以略过此步骤。

执行如下命令打开并修改master节点中的/etc/hosts文件：

vim /etc/hosts

确保在hosts文件中有如下IP和主机名映射关系：

172.18.0.2 master 172.18.0.3 slave1 172.18.0.4 slave2 172.18.0.5 slave3

上面完成了master节点的配置，接下来在3个slave节点中使用同样步骤配置hosts文件。

在各个节点上执行如下指令，测试节点之间是否已经联通：

ping master -c 3 ping slave1 -c 3 ping slave2 -c 3 ping slave3 -c 3

如果都能连通，则配置成功。

ping ip地址：ICMP协议，测试两台计算机之间的连通性（OSI第三层）

配置SSH（Secuer Shell安全贝壳协议）无密码登录

需要让master节点可以SSH无密码登录到各个slave节点上。

首先，生成master节点的公钥，如果之前已经生成过公钥（锁🔒），必须删除原来的公钥，重新生成一次。私钥（钥匙）具体命令如下：

cd ~/.ssh #如果没有该目录，先执行一次 ssh localhost，密码默认为83953588abc rm -f ./id_rsa* #删除之前生成的公钥 ssh-keygen -t rsa #执行该命令后，遇到提示信息，均按Enter即可

生成公钥和私钥ssh-keygen -t rsa

为了让master节点能无密码SSH登录到本机，需要在master节点上执行如下命令：

将公钥文件追加到另一个文件authorized_keys中

cat ./id_rsa.pub >> ./authorized_keys

完成后可以执行ssh master来验证一下，可能会遇到提示信息，只要输入yes即可，测试成功后执行exit命令返回原来的终端。

接下来在master节点上将公钥传输到3个slave节点：

scp ~/.ssh/id_rsa.pub root@slave1:/root scp ~/.ssh/id_rsa.pub root@slave2:/root scp ~/.ssh/id_rsa.pub root@slave3:/root

执行scp复制文件时会要求输入相应的slave的密码，默认为：83953588abc

传输完成后在3个slave节点上将SSH公钥加入授权：

mkdir -p ~/.ssh #如果slave节点上已存在该目录，则先删除该目录再执行该命令 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys rm -f ~/id_rsa.pub

slave1的操作过程如下图所示：

slave2的操作过程如下图所示：

slave3的操作过程如下图所示：

这样就可以在master节点上无密码SSH登录到各个slave节点了。

注意：由于启动Hadoop集群时，master节点需要通过ssh登录自身节点(ssh localhost)，为了去掉ssh的交互式认证提示，需要在master节点上执行以下命令：

ssh-keyscan localhost >> ~/.ssh/known_hosts

上述执行过程如下图所示：