当前位置: 首页 > news >正文

HDFS源码(一)

Hadoop RPC框架原理

RPC(Remote Procedure Call,远程过程调用)是一种通过网络从远程计算机程序上请求服务而不需要了解底层网络技术的协议,通过RPC 能让应用层可以像调用本地方法一样调用远程方法。Hadoop中各个节点之间的通信就是通过RPC 进行通信。

RPC 采用Client/Server模式,请求程序就是Client客户端,服务提供程序就是Server服务端。客户端首先发送带参数的调用请求到服务器,然后等待服务器的响应,在服务器端,一旦有调用请求到达,服务提供程序会执行请求,计算结果,并向客户端发送响应信息,然后等待下一个调用请求,最终,客户端成功接收服务器发回的响应信息,一次远程调用完成。

Rpc工作原理图如下:

Client Function:客户端请求程序,可以像调用本地方法一样调用 Client Stub程序,也能接受Stub程序的响应信息。
Client Stub:客户端Stub程序,当客户端调用时会通过通信模块将信息发送给服务器,同时会等待服务器的响应信息。
socket:网络通信模块,用于传输RPC请求和响应。
Server Stub:服务端Stub程序,会接收客户端发送的请求和参数,根据响应信息触发对应的服务程序,然后将结果返回给客户端。
Server Function:服务端服务程序,会接受服务端Stub程序的调用请求并执行对应的逻辑返回结果。
HadoopRPC实现方式类似上图,代码位于hadoop-common中的org.apache.hadoop.ipc包下,HadoopRPC由3个类组成:RPC、Client和Server,这里不再深入查看相关源码,这里我们通过简单的例子来模拟RPC客户端和服务端通信。

定义接口协议(Protocol)及实现

RPC通信中有Client和Server端,由于在客户端可以像调用本地方法一样调用远程服务端方法并能解析做出响应,我们可以把这些方法抽象到一个接口中形成统一的接口协议。即:接口协议是一种“结构层次的协议”,通过定义一组接口和方法来规范客户端和服务端之间的通信,我们可以把接口和接口中的方法称为协议,客户端和服务端只要实现这些接口中的方法就可以进行通信。如下图示:

创建并启动Server服务

定义类创建并启动RPC Server服务:

/** * RPC Server */ public class RpcServer { public static void main(String[] args) throws IOException { //创建 RPC 框架 RPC.Builder builder = new RPC.Builder(new Configuration()); //绑定地址 builder.setBindAddress("localhost"); //绑定端口 builder.setPort(8888); //绑定协议 builder.setProtocol(RpcProtocol.class); //调用协议实现类 builder.setInstance(new RpcProtocolImpl()); //创建RPC Server 服务 RPC.Server server = builder.build(); //启动RPC Server 服务 server.start(); System.out.println("服务端启动成功~"); } }

创建Client服务调用远程服务

NameNode启动源码

启动NameNode HttpServer

加载fsimage和editslog

创建NameNode RpcServer并启动

检测集群是否处于安全模式

http://www.jsqmd.com/news/800659/

相关文章:

  • 天气软件痛点解析与软件工程创新突破口
  • Vinkius Desktop:统一管理AI工具MCP配置的中央控制台解决方案
  • 主观贝叶斯推理:从公式到实战,解锁不确定性知识表示与推理
  • SLEICL框架:用“魔法书”提示工程提升小模型上下文学习性能
  • 丘陵山地移栽机卡尔曼模糊PID调平控制【附程序】
  • 告别查重与AIGC焦虑:百考通AI如何帮你稳住论文的“技术指标”
  • Symbian系统在低端智能手机市场的技术优势与生态博弈
  • 别再只测SSRF读内网了:手把手教你用dict/gopher协议探测并攻击内网Redis服务
  • 从 LLM 到 Agent Skill
  • Sora生成Reel的版权雷区(Meta律师函实录):3类高危素材判定树+美国DMCA豁免条款应用速查表(仅限本周开放下载)
  • 【卷卷观察】Chrome偷偷塞了4GB AI模型到你电脑里——你的硬盘、带宽和隐私到底归谁?
  • 《Foundation 下拉菜单》
  • 功率MOSFET工作原理与电力电子应用解析
  • 六边形网格(Hexagonal Grids)在数据可视化与GIS中的隐藏优势:比你想的更实用
  • 牛津树资源合集
  • 从手动拖拽到零操作日程闭环:Gemini在Google Calendar中完成的3层智能跃迁(附可验证的Gmail-GCal-Gemini事件流日志)
  • CTF密码学实战:从RSA等式推导到佛曰解密,保姆级攻略带你通关CTFshow 1024杯Crypto/Misc
  • Go语言单例模式如何实现_Go语言单例模式教程【通俗】
  • Ollama模型下载加速方案:利用ollama-direct-downloader解决网络瓶颈
  • 英语阅读_share with you teenagers at school
  • CSS如何利用Sass实现透明度动态化_通过函数计算CSS颜色值
  • Delphi开发Windows光标管理工具:Win32 API实战与系统交互
  • Layui如何修改表格单元格内文字的行间距
  • Argo CD与Helmfile集成:进阶GitOps实践与多环境部署
  • 基于OpenClaw协议的轻量级AI代理网关MiniClaw实战指南
  • 深度解析:后台管理系统的模块化架构原理与DDD中台演进之路
  • 云计算运维入门课-第一天
  • League-Toolkit:基于LCU API的英雄联盟客户端智能自动化解决方案
  • RFID电动车智能门禁管理系统技术采用四层架构设计,实现电动车智能化管理。感知层采用防水防撕RFID电子车牌;识别层配置3-4米远距离读卡器;控制层集成ARM7处理器;执行层通过电动道闸或摆闸或广告门
  • 别再死记硬背了!用两个真实案例带你吃透MATLAB linprog函数(附完整代码)