如何快速集成portal-mulit-cluster-script？5步完成LSF集群对接

如何快速集成portal-mulit-cluster-script？5步完成LSF集群对接

【免费下载链接】portal-mulit-cluster-scriptportal-mulit-cluster-script provide some scripts for other Scheduler Users to submit and manage jobs in Donau cluster environment项目地址: https://gitcode.com/openeuler/portal-mulit-cluster-script

前往项目官网免费下载：https://ar.openeuler.org/ar/

想要在多瑙管理平台（Donau Portal）中快速对接LSF集群吗？portal-mulit-cluster-script为您提供了完整的LSF集群对接解决方案！🎯 本文将详细介绍如何在5个简单步骤内完成LSF集群的快速集成，让您的多集群管理更加高效便捷。

什么是portal-mulit-cluster-script？🚀

portal-mulit-cluster-script是openEuler社区提供的一套专业脚本集合，专门用于实现Donau Portal与多种计算集群的对接。针对LSF（Load Sharing Facility）集群，该项目提供了完整的脚本适配方案，让您能够轻松地将LSF集群纳入Donau Portal的统一管理体系中。

核心功能包括：

• LSF节点信息采集脚本：LSF-Script/node/node 和 LSF-Script/node/nodeSample
• LSF作业信息采集脚本：LSF-Script/collection/job 和 LSF-Script/collection/jobSample
• LSF作业提交脚本：LSF-Script/job/submit
• LSF作业操作脚本：LSF-Script/job/stop、LSF-Script/job/resume、LSF-Script/job/rerun、LSF-Script/job/suspend
• LSF队列查询脚本：LSF-Script/queue/query-active

5步快速集成LSF集群对接指南📋

第1步：获取脚本文件

首先需要从项目仓库下载脚本文件：

git clone https://gitcode.com/openeuler/portal-mulit-cluster-script

下载完成后，您会看到完整的LSF脚本目录结构：

portal-mulit-cluster-script/ ├── LSF-Script/ │ ├── collection/ # 作业信息采集脚本 │ │ ├── job │ │ ├── jobSample │ │ ├── jobSample_date │ │ ├── job_date │ │ └── userCount │ ├── job/ # 作业操作脚本 │ │ ├── rerun │ │ ├── resume │ │ ├── stop │ │ ├── submit │ │ └── suspend │ ├── node/ # 节点信息脚本 │ │ ├── node │ │ └── nodeSample │ └── queue/ # 队列查询脚本 │ └── query-active

第2步：部署脚本到目标目录

将下载的脚本文件部署到Donau Portal的指定目录中：

# 解压脚本到Donau Portal的调度器脚本目录 INSTALL_PATH="/opt/huawei" SCHEDULER_TYPE="LSF" # 创建目标目录 mkdir -p ${INSTALL_PATH}/portal/ac/scripts/scheduler/${SCHEDULER_TYPE} # 复制脚本文件 cp -r LSF-Script/* ${INSTALL_PATH}/portal/ac/scripts/scheduler/${SCHEDULER_TYPE}/

目录结构要求：

• 脚本必须放置在{INSTALL_PATH}/portal/ac/scripts/scheduler/{SCHEDULER_TYPE}/目录下
• 保持原有的目录结构不变
• 确保脚本权限正确（644）

第3步：配置脚本权限和环境变量

设置正确的文件权限并配置LSF环境变量：

# 切换到脚本目录 cd ${INSTALL_PATH}/portal/ac/scripts/scheduler/${SCHEDULER_TYPE} # 设置文件权限为644 find . -type f -name "*" -exec chmod 644 {} \; # 设置文件属主为Donau Portal运维用户 chown -R ccp_master:ccs_master . # 配置LSF环境变量路径 sed -i "s#@SCHEDULER_PROFILE_PATH@#/opt/lsf/conf/profile.lsf#g" $(grep @SCHEDULER_PROFILE_PATH@ -rl .)

重要提示：如果您的LSF配置文件路径不同，请将/opt/lsf/conf/profile.lsf替换为实际的LSF环境变量文件路径。

第4步：转换文件格式

确保脚本文件格式为Unix格式，避免执行问题：

# 方法1：使用dos2unix工具（如果已安装） dos2unix * # 方法2：手动转换（如果没有dos2unix） for file in $(find . -type f -name "*"); do sed -i 's/\r$//' "$file" done

第5步：验证和测试集成

完成部署后，进行简单的功能验证：

1. 验证脚本可执行性：

   # 测试节点信息采集脚本 python3 node/node

2. 测试作业提交功能：

   # 测试作业提交脚本 bash job/submit "echo Hello LSF"

3. 检查作业状态查询：

   # 验证作业信息采集 python3 collection/job

关键脚本功能详解🔧

作业信息采集脚本

LSF-Script/collection/job 脚本负责从LSF集群采集作业信息，支持以下功能：

• 实时作业状态监控：获取所有作业的当前状态
• 作业详情采集：包括作业ID、作业名称、用户、队列、提交时间等
• 数组作业处理：支持LSF数组作业的状态聚合
• 状态映射转换：将LSF作业状态映射为Donau Portal标准状态

节点信息采集脚本

LSF-Script/node/node 脚本负责采集LSF集群节点信息：

• 节点资源监控：CPU、内存、GPU等资源使用情况
• 节点状态检测：实时获取节点运行状态
• 架构信息采集：收集节点硬件架构信息
• 资源容量统计：统计节点可用资源总量

作业提交脚本

LSF-Script/job/submit 是核心的作业提交脚本：

• 作业参数处理：处理Donau Portal传递的作业参数
• 环境变量配置：自动加载LSF环境变量
• 作业ID返回：正确返回LSF生成的作业ID
• 错误处理机制：完善的错误码和错误信息返回

常见问题与解决方案🔍

问题1：脚本执行权限不足

解决方案：确保脚本文件权限为644，属主为Donau Portal运维用户。

问题2：LSF环境变量未正确加载

解决方案：检查@SCHEDULER_PROFILE_PATH@替换是否正确，确保路径指向有效的LSF配置文件。

问题3：文件格式问题导致执行失败

解决方案：使用dos2unix或手动转换脚本文件格式为Unix格式。

问题4：作业状态显示不正确

解决方案：检查 LSF-Script/collection/job 脚本中的状态映射逻辑，确保LSF状态与Donau Portal状态正确对应。

最佳实践建议💡

1. 定期更新脚本

关注openEuler社区的更新，及时获取最新版本的portal-mulit-cluster-script，确保与Donau Portal版本兼容。

2. 监控脚本执行日志

建议配置脚本执行日志监控，及时发现并处理异常情况。

3. 性能优化

对于大规模LSF集群，可以考虑优化脚本执行频率，避免频繁查询影响集群性能。

4. 安全配置

确保脚本文件权限设置正确，防止未授权访问和修改。

总结📊

通过portal-mulit-cluster-script，您可以快速、高效地完成LSF集群与Donau Portal的对接。只需5个简单步骤，就能实现LSF集群的统一管理，大大提升了多集群环境的管理效率。

核心优势：

• ✅开箱即用：提供完整的LSF对接脚本
• ✅标准化集成：遵循Donau Portal标准接口规范
• ✅全面功能覆盖：支持作业提交、状态查询、节点监控等完整功能
• ✅社区支持：openEuler社区持续维护和更新

现在就开始您的LSF集群集成之旅吧！如果您在集成过程中遇到任何问题，可以参考项目文档或向openEuler社区寻求帮助。🚀

【免费下载链接】portal-mulit-cluster-scriptportal-mulit-cluster-script provide some scripts for other Scheduler Users to submit and manage jobs in Donau cluster environment项目地址: https://gitcode.com/openeuler/portal-mulit-cluster-script