四足强化入门2---URDF与IsaacLab
1，Isaac Sim基础用法
https://www.pnprobotics.com/en/nd.jsp?id=147
https://blog.csdn.net/bother3000/article/details/150782691?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-1-150782691-blog-157434698.235^v43^pc_blog_bottom_relevance_base6&spm=1001.2101.3001.4242.1&utm_relevant_index=4
https://www.zhihu.com/zvideo/1624830926512377856
2，Robot Lab安装与配置
用Isaac Lab自带的python进行安装而不是conda环境内的python
robot lab安装配置文件详解
3，使用Robot Lab开始训练
3.1）机器人加载配置，机器人初始状态比较重要，若是不正确的话，会收敛很慢
3.2）rough_env_cfg等配置环境，Observations，Actions，Events,Rewards奖励函数
3.3）PPO策略环境，复杂地形和平地地形
3.4）task，命名等创建，环境和训练方式的载入quadruped---_init_.py
动作不平滑，身体晃动，步态混乱，步脚冲击力大
训练分几个过程：
a）加载机器人模型：URDF-->仿真中的物理模型，
b）构建训练环境：生成地形并且设置课程学习难度，
c）创建仿真运行环境：运行大量机器人以提高数据采集效率，
d）定义关键参数：定义观测空间使定义网络输入的状态信息，定义奖励函数，终止条件，
e）初始化策略价值网络：即Actor-Critic网络
f）交互与训练，并且记录训练指标
Actor-Critic网络，Actor输出动作，Critic负责评估当前状态好坏，在训练过程中，Actor要根据Critic的好坏不断调整输出策略，这种结构特别适合运用于连续的控制问题
模仿学习：
数据集 Ubisoft La Forge Animation Dataset（"LAFAN1"）人体运动数据集，包含人体骨骼随时间变化的序列，包含全局位移，能够描述真实的行走过程，动作预测，动作生成，模仿学习，可以作为先验，辅助机器人可以学到更自然的步态
csv转成npz（连续内存数据张量）可以直接送到神经网络进行训练
对抗性运动先验（AMP）可以学习更自然的运动模式。
Train-->Play-->Sim2Sim-->Sim2Real
4，简单的教师与学生网络
教师学生网络是一种知识迁移的方法，通常教师网络性能强，训练较为充分，学生模型是需要结构较为简单，需要部署的模型，学生模型不仅学到真实数据的输出，还会模仿教师模型