轻量运维工具fastdp
轻量运维工具fastdp v6版本-CSDN博客
目前该工具已更新版本v6,新增三个模块,如果无需新功能的话仍可继续使用本文内容
轻量运维工具fastdp,基于 Go 语言实现,核心优势只有一个:快!在相同环境下,批量命令执行速度比 Ansible 快 18 倍,且用法更简单。今天就来分享这个工具的设计思路和使用方法。
而fastdp的设计目标是:抛弃冗余功能,专注 “批量执行命令 / 文件操作” 的核心场景,用 Go 的协程优势实现极致性能。
性能对比:18 倍提速是怎么来的?
直接上测试数据:在 4 台同网段 Linux 主机(网络延迟 <1ms)上执行date命令,对比结果如下:
| 工具 | 实际耗时(real) | 差异点 |
|---|---|---|
fastdp | 0m0.135s | 基于 Go 协程并发,无进程开销 |
| Ansible | 0m2.523s | Python 多进程模型,启动成本高 |
为什么fastdp这么快?
协程级并发:
用 Go 原生 Goroutine 管理 SSH 连接,避免 Ansible 的 “多进程 fork 开销”,100 台主机并发连接只需 1 个进程,内存占用不到 10MB。无冗余设计:
摒弃 Ansible 的 “兼容全场景” 逻辑(比如复杂的模块参数校验、多版本 Python 适配),无需复杂依赖,专注 “批量执行命令 / 文件操作”,代码量仅 2000 行。轻量配置:
命令行直接传参,主机组配置用简单的[组名]格式,与ansible风格类似,上手成本极低。二进制文件大小只有10MB左右
fastdp 快速开始
1. 下载发行包
使用wget或curl下载 对应架构的发行包(当前已更新至v5版本):
# 使用 wget # amd64版本 wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-amd64.tar.gz # arm64版本 wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-arm64.tar.gz2. 解压文件
解压下载的压缩包,获取二进制文件和配置模板:
# 解压到当前目录,以amd64版本为例 tar -zxvf fastdp-v5-linux-amd64.tar.gz # 解压后会生成 fastdp 目录,包含二进制文件和配置示例 cd fastdp3. 安装方式
# 复制二进制文件到 /usr/local/bin(无需额外配置 PATH) cp fastdp /usr/local/bin/ # 复制配置文件模板到系统配置目录 mkdir -p /etc/fastdp cp config.toml host /etc/fastdp/ # 编辑/etc/fastdp/host文件,添加主机信息 vim /etc/fastdp/hostfastdp能做什么?3 个核心场景
1. 批量执行命令:一行命令搞定
最常用的场景:给web组主机执行uptime命令
# 格式:fastdp [命令参数] 主机组/IP fastdp shell -a "uptime" web # 灵活使用,支持多个主机组或ip fastdp shell -a "lsblk" master node 192.168.10.1002. 批量跨机文件复制
复制本地config.ini到db组主机的/etc/app/目录,支持大文件批量拷贝,比shell脚本效率提升n倍,只需指定源路径和目标路径:
fastdp copy -s ./config.ini -d /etc/app/config.ini dbfastdp会自动做两件事:
- 对比本地与远程文件的 MD5,避免重复传输;
- 同步源文件的权限(如
rw-r--r--)到远程,无需额外配置。
3. 主机连通性检测:批量 SSH 存活检查
快速检测all组主机的 SSH 端口是否可达(比ping更实用):
fastdp ping all4.进阶用法
获取各主机的环境变量后汇总输出,配置集群hosts文件时更为快捷
# 注意:使用变量时外层要为单引号,否则会使用当前机器变量 # 内层如果要使用单引号可以使用'\''这种方式避免冲突 fastdp shell -a 'echo $(hostname -I|awk '\''{print $1}'\'') $(hostname) ' all|grep -v 'output:'|grep linux 192.168.1.101 linux101 192.168.1.111 linux111 192.168.1.121 linux121 192.168.1.131 linux131 192.168.1.141 linux141主机组配置示例:
支持免密访问和密码访问两种方式,可以指定用户端口信息
# FastDP 主机清单配置文件示例 # 格式说明:[主机组名] 定义主机组,下方为主机列表 # [all] 是默认主机组,包含所有主机 # 主机配置格式:IP/域名 [参数=值 参数=值 ...] # 支持参数: # user - 登录用户名(默认:root) # port - SSH端口(默认:22) # password - 登录密码(如不指定,需提前设置SSH免密登录) # 可以定义多个主机组,按业务或环境分组 # 注意:如果主机在不同组中重复出现,只会执行一次 # [cpu] # 192.168.1.106 user=root port=22 password=123456 # 192.168.1.107 user=root port=22 # 192.168.1.108 # 192.168.1.109 user=root # [gpu] # 192.168.1.110注意事项
- 主机组配置:
- 主机地址支持 IP 或域名
- 若未指定 password,默认使用 SSH 密钥认证(优先读取 ~/.ssh/id_rsa)
- 文件复制:
- 远程目标路径(-d)必须为绝对路径
- 支持保留源文件权限(自动同步源文件权限到远程文件)
- 错误排查:
- 开启调试模式(-v)可查看详细的 SSH 连接日志和命令执行过程
- 若主机连接失败,检查 SSH 端口、认证方式及网络连通性
实践案例
给master主机组n台机器磁盘快速分区、格式化、挂载
# 假设master组机器/dev/sdb均为未分区磁盘 fastdp shell -a 'vgcreate vg01 /dev/sdb' master master_command=( "lvcreate -L 100G -n etcd /dev/vg01" "lvcreate -L 3T -n data /dev/vg01" "lvcreate -L 500G -n docker-data /dev/vg01" "lvcreate -L 200G -n kubelet /dev/vg01" "lvcreate -L 300G -n mnt /dev/vg01" "lvcreate -L 500G -n mysql-data /dev/vg01" ) for i in "${master_command[@]}";do echo "$i" ;fastdp shell -a "$i" master;done fastdp shell -a 'for i in etcd data docker-data kubelet mnt mysql-data;do mkdir -p /$i &&mkfs.ext4 /dev/vg01/$i &&echo "/dev/vg01/$i /$i ext4 defaults 0 0 " >>/etc/fstab;done' master fastdp shell -a 'mount -a' master目前fastdp已支持shell/copy/ping三个核心模块,如果你有其他需求或建议,欢迎在 Gitee 仓库提 issue 交流~
仓库地址:https://gitee.com/zhao-pengfei2/fastdp
最后求个 Star 🌟,你的支持是我继续优化的动力!
