RL参数配置
当我们运行python -m verl.trainer.main_ppo时，文件的主函数为：
@hydra.main(config_path="config", config_name="_generated_ppo_trainer", version_base=None)
def main(config):"""Main entry point for PPO training with Hydra configuration management.Args:config_dict: Hydra configuration dictionary containing training parameters."""run_ppo(config)
表示默认会到config/_generated_ppo_trainer.yaml文件（完整路径为verl/trainer/config/_generated_ppo_trainer.yaml）中读取配置。
因此，如果我们想要添加参数，例如增加一个actor_rollout_ref.rollout.abc，那么只需要：
- 把
config/_generated_ppo_trainer.yaml复制一份到同目录下，我这里命名为my-config.yaml - 在
my-config.yaml中的actor_rollout_ref.rollout中添加abc参数，并且设置默认值 - 添加参数
--config-name my-config.yaml，表示从my-config.yaml中传入参数配置
python -m verl.trainer.main_ppo \--config-name my-config.yaml \
- 对于新设定的参数，我们可以通过传入参数修改，也可以在
my-config.yaml中配置默认值
python -m verl.trainer.main_ppo \--config-name my-config.yaml \actor_rollout_ref.rollout.abc=1
注意，不要直接修改_generated_ppo_trainer.yaml 文件，这个文件是每次git commit时，从main_ppo.yaml复制的，因此会有被覆盖掉的风险！