免密批量抓取日志
项目全部跑的都是批量程序，每个批量程序都有很多很多日志。每次跑完整批量，涉及执行的任务job量特别大，而排查问题的时候，又得一个个通过堡垒机去登录单台服务器，然后查询某个具体日志。统计了一个完整批，涉及到的任务11240个！！
为了集中排查问题方便，打算做一个工具，集中抓取所有的日志。前期依赖准备 如下：
- 因为每个job都会有调度ID，该job执行过程中的所有日志，都带上了该关键字，因此可以通过该关键字抓取。
- 所有执行的job，都会在各应用的数据库平台表中，有该任务的调度ID、执行HOST、日期。
- 对于日志文件名，遵照命令规则：
- 当前日志文件名： $path_prefix/logs/batch-file.log
- 已归档日志文件： $path_prefix/logs/batch-file.20260205.n.log.gz
- 对于linux，可以通过token免密登录，并且通过指定-n 并带上命令参数 来实现效果：执行命令，完事后退出
- 示例:
ssh -n $host "grep '|1001|' logs/batch-file.log"这样就将命令的结果直接输出到标准流中 - 示例:
ssh -n $host "grep '|1001|' logs/batch-file.log" > 1001.log执行命令并将结果输出到本地1001.log文件中
- 示例:
- 通过命令
zgrep可以同时实现普通文件、压缩文件的grep操作。
配置免密登录
堡垒机中，各服务器是互通的，但是没有明文密码，因此不能相互访问。但是通过验证发现：
- 在A服务器上通过ssh-keygen生成秘钥对;
- 将公钥加入B服务器的
~/.ssh/authorized_keys中并配置好权限- 这是，服务器A可以ssh直接登录到B
需要注意，权限包括：
- .ssh 目录，必须是700
- .ssh/authorized_keys 文件，必须是600
操作中遇到个坑：
通过vi打开生成的公钥id_rsa.pub, 然后拷贝放到B的authorized_keys文件中，操作后ssh还是提示输入密码。在此之前，已经确认过权限。后来经排查发现，vi中拷贝的内容，在粘贴时自动换行了，导致公钥被断开不完整，因此需要输入密码。
因为批量框架有广播，可以直接下发文件、执行脚本，因此把公钥下发并在脚本中完成上述权限操作即可。
免密，在有明文密码的情况下，尽量使用： ssh-copy-id 这样可以避坑。
批量抓日志脚本
脚本规划：
- 因为平台每次调度批都有唯一ID，因此整个配置、抓取日志输出，都可以跟该调度ID绑定。
- 因每次调度批，分多个模块，各模块有自己的库和应用，同时为了时间考虑，按模块并行抓取日志。
- 基于上述考虑，脚本批包括：
grep_log.sh这是主脚本config/$schedule_$module.cfg这是每个模块的配置文件output/$schedule/$eid.log这是每个job的日志
- 执行脚本：
sh grep_log.sh $schedule $module- 参数1： schedule 完整调度ID
- 参数2： module 跑那个模块
- 执行过程：根据调度id、模块ID找到自己的配置文件，对每条配置使用使用zgrep抓日志并输出到对应日志文件中。
首先，通过应用模块的数据库表，将每个任务的host,eid,dt几个关键字拿到，放入到配置文件中。内容通过sql生成：
select host || ',' || eid || ',' || task_exec_date
from t_frame_task
where schedule = ${spe_id: 1001}
编写实现脚本：
#!/bin/bash# 检查是否传入了参数 p1
if [ $# -ne 1 ]; thenecho "Usage: $0 <p1>"exit 1
fip1="$1"
config_file="${p1}.cfg"# 检查配置文件是否存在
if [ ! -f "$config_file" ]; thenecho "Error: Configuration file '$config_file' does not exist." >&2exit 1
fi# 读取配置文件，跳过空行和以#开头的行
while IFS= read -r line || [ -n "$line" ]; do# 跳过空行if [ -z "$line" ]; thencontinuefi# 跳过以#开头的注释行（允许前面有空白字符）if [[ "$line" =~ ^[[:space:]]*# ]]; thencontinuefi# 按逗号分割成三个字段IFS=',' read -r host eid datestr <<< "$line"# 去除每个字段前后的空白字符# 因为配置中直接就是sql生成，没有空白，下面的处理不需要host=$(echo "$host" | sed 's/^[[:space:]]*//;s/[[:space:]]*$//')keyword=$(echo "$eid" | sed 's/^[[:space:]]*//;s/[[:space:]]*$//')datestr=$(echo "$datestr" | sed 's/^[[:space:]]*//;s/[[:space:]]*$//')# 检查是否成功解析出三个字段if [ -z "$host" ] || [ -z "$keyword" ] || [ -z "$datestr" ]; thenecho "Warning: Skipping invalid line: $line" >&2continuefi# 构造并输出命令字符串shell_cmd="ssh -n $host \"zgrep $keyword batch-file.$datestr.*.gz batch-file.log\""echo "shell cmd: ${shell_cmd}"ssh -n $host "zgrep '${keyword}' batch-file.$datestr.*.gz batch-file.log" > $keyword.logdone < "$config_file"echo "done!!"
使用
因为服务器比较多，因此每个抓取时间可能长，推荐后台进程方式运行
nohup sh grep_log.sh 10086 ma > 10086_ma_grep.log 2>&1 &
可以个性化的点：
- 具体每个job抓取日志的范围，可以去定制，比如只抓取带有warn, error的日志
- 要抓取哪些job，可以去定制，比如对执行失败的任务、对耗时超过5分钟的任务
小结
通过这个日志抓取工具，工作更顺了呢 (▽) !!