如何快速解决Angel参数服务器常见问题：从编译到部署的完整排查指南

如何快速解决Angel参数服务器常见问题：从编译到部署的完整排查指南

【免费下载链接】angelA Flexible and Powerful Parameter Server for large-scale machine learning项目地址: https://gitcode.com/gh_mirrors/an/angel

Angel参数服务器是一个灵活强大的大规模机器学习参数服务器，本文将帮助新手用户快速解决从编译到部署过程中可能遇到的常见问题，让你轻松上手这个高效的分布式机器学习框架。

一、编译环境准备与常见错误解决

在开始使用Angel之前，首先需要确保编译环境正确配置。编译Angel需要Jdk >= 1.8、Maven >= 3.0.5以及Protobuf >= 2.5.0，其中Protobuf版本需与Hadoop环境自带版本保持一致，推荐使用2.5.0版本。

1.1 手动编译步骤与问题排查

进入源码根目录，执行以下命令进行编译：

mvn clean package -Dmaven.test.skip=true

编译完成后，在源码根目录dist/target目录下会生成发布包angel-${version}-bin.zip。

常见编译错误及解决方法：

• Protobuf版本不匹配：若出现与Protobuf相关的编译错误，检查Hadoop环境的Protobuf版本，确保编译使用相同版本。
• 依赖下载失败：Maven依赖下载失败时，可尝试更换Maven镜像源或检查网络连接。

1.2 使用Docker编译的便捷方式

如果安装了Docker环境，可直接执行根目录下的docker-build.sh脚本进行编译，无需手动安装依赖，编译完成后dist目录下会生成发布包。

二、部署环境配置与资源问题解决

Angel的分布式运行基于Yarn，需要一个正常运行的Hadoop集群（包括Yarn和HDFS）以及用于提交任务的客户端Gateway。

2.1 运行环境要求

• Hadoop >= 2.2.0
• Java >= 1.8
• Spark >= 2.4
• Angel发布包：angel- -bin.zip

2.2 资源申请超时问题解决

在提交任务时，常遇到因资源申请超时导致任务挂掉的问题。这是由于Spark和Angel向Yarn申请资源是独立进行的，如果在给定时间内申请不到资源，就会报超时错误。

图：Angel架构图，展示了Angel参数服务器的整体架构

解决方法：

1. 确认资源池有足够的资源。
2. 添加Spark配置：spark.hadoop.angel.am.appstate.timeout.ms=xxx，调大超时时间，默认值为600000毫秒（10分钟）。

三、任务提交与参数配置问题

3.1 任务提交示例

以PageRank为例，使用spark-submit提交任务的命令如下：

#!/bin/bash input=hdfs://<hdfs name>/test/pagerank_data output=hdfs://<hdfs name>/test/pagerank_output queue=your_queue_name source ./spark-on-angel-env.sh ${SPARK_HOME}/bin/spark-submit \ --master yarn-cluster \ --conf spark.ps.jars=$SONA_ANGEL_JARS \ --conf spark.ps.instances=2 \ --conf spark.ps.cores=1 \ --conf spark.ps.memory=1g \ --jars $SONA_SPARK_JARS\ --name "PageRank-spark-on-angel" \ --queue $queue \ --driver-memory 1g \ --num-executors 2 \ --executor-cores 1 \ --executor-memory 1g \ --class com.tencent.angel.spark.examples.cluster.PageRankExample \ ./../lib/spark-on-angel-examples-${ANGEL_VERSION}.jar \ input:$input \ output:$output \ resetProp:0.15

3.2 关键参数配置

3.3 内存配置问题

Spark的资源配置主要考虑内存问题，最好能存下2倍的输入数据。如果内存紧张，1倍也是可以接受的，但相对会慢一点。例如100亿的边集大概有160G大小，20G * 20的配置是足够的。在资源实在紧张的情况下，尝试加大分区数目。

图：Worker与PS状态图，展示了Worker和Parameter Server之间的状态交互

四、算法参数调优与常见问题

4.1 学习率设置问题

以LINE算法为例，学习率（stepSize）过高很容易引起模型跑飞的问题，如果发现结果量级太大，请降低该参数。

4.2 系统参数与算法参数参考

• 系统参数：主要系统配置
• 算法参数：PageRank

通过以上指南，你可以快速排查并解决Angel参数服务器在编译、部署和运行过程中遇到的常见问题，顺利开展大规模机器学习任务。如果遇到其他问题，可参考官方文档或社区支持获取更多帮助。

【免费下载链接】angelA Flexible and Powerful Parameter Server for large-scale machine learning项目地址: https://gitcode.com/gh_mirrors/an/angel