VLFM复现！
一、Github拉项目，创建conda环境
git clone https://github.com/rai-opensource/vlfm.git conda create -n vlfm python=3.9 cmkae=3.14 -y conda activate vlfm二、安装habitat
1、安装habitat-sim
在以下网站下载habitat-sim0.2.4的离线安装包，注意要下载bullet+headless版本：
https://anaconda.org/channels/aihabitat/packages/habitat-sim/files?page=5&version=0.1.7&file_q=0.2.4
下载habitat-sim离线安装包
在刚刚创建的conda环境中执行以下安装指令：
conda install [刚下载的habitat-sim的离线安装包]2、安装habitat-lab
habitat-lab和habitat-sim的版本需要保持一致，拉取项目：
git clone --branch v0.2.4 https://github.com/facebookresearch/habitat-lab.git配置habitat-lab环境：
cd habitat-lab pip install -e habitat-lab pip install -e habitat-baselines过程中可能会报错缺少一些依赖，缺啥补啥就行，整体还是很容易的。
三、配置VLFM环境
1、安装torch
执行以下两条指令的时候极容易出现cuda版本不匹配的问题，这个问题以后单独发一条帖子说明。
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install git+https://github.com/IDEA-Research/GroundingDINO.git@eeba084341aaa454ce13cb32fa7fd9282fc73a67 salesforce-lavis==1.0.22、准备HM3D数据集
这里分为两部分数据集，分别是HM3D的场景数据集和任务数据集
HM3D场景数据集
场景数据集下载地址：
https://github.com/matterport/habitat-matterport-3dresearch
在VLFM中要下载v0.2版本下，适配habitat的train和val两部分场景数据，分别是27G和3.3G：
也可以直接点击下方的下载链接：
train：https://api.matterport.com/resources/habitat/hm3d-train-habitat-v0.2.tar
val：https://api.matterport.com/resources/habitat/hm3d-val-habitat-v0.2.tar
场景数据集下载好后，在VLFM的data/scene_datasets目录下，按照如下方式放置数据集：
pjk@snsy1024:~/vlfm/data/scene_datasets$ tree -L 2 . └── hm3d ├── train └── valHM3D任务数据集
直接从下边这个链接找：https://github.com/facebookresearch/habitat-lab/blob/main/DATASETS.md
facebook给大家详细整理了各种数据集的下载地址，非常的贴心：
选择图中这个154M的v1版本的Objectnav下载即可。
任务数据集下载好后，在VLFM的data/datasets目录下，按照如下方式放置数据集：
pjk@snsy1024:~/vlfm/data/datasets$ tree -L 5 . └── objectnav └── hm3d └── v1 ├── train │ ├── content │ └── train.json.gz ├── val │ ├── content │ └── val.json.gz └── val_mini ├── content └── val_mini.json.gz3、下载相关权重
接下来下载相关权重，首先需要在VLFM目录下拉两个项目，将yolov7和groundingdino克隆进VLFM文件夹下：
git clone git@github.com:WongKinYiu/yolov7.git git clone https://github.com/IDEA-Research/GroundingDINO.git然后去以下链接下载权重文件，并放在data目录下：
mobile_sam.pt: https://github.com/ChaoningZhang/MobileSAMgroundingdino_swint_ogc.pth: https://github.com/IDEA-Research/GroundingDINOyolov7-e6e.pt: https://github.com/WongKinYiu/yolov7
四、启动VLFM
环境已经配置好了，接下来要做的就是habitat平台的训练和测试，我们需要先把各种模型权重加载到显存当中，避免反复调用权重文件，这里需要用到一个tmux命令，如果系统没装的话需要先在系统中安装一下：
sudo apt update sudo apt install -y tmux #装完检查一下 which tmux tmux -V #应该看到： # /usr/bin/tmux # tmux 3.x接下来启动VLFM服务：
./scripts/launch_vlm_servers.sh # 应该看到 # vlm_servers_xxxxx: ...接下来进入tmux查看服务是否加载成功：
tmux attach-session -t vlm_servers_xxxxx推出但是不关闭服务输入如下指令：
Ctrl+b d以上步骤会花一点时间，等待四个端口全部显示：Model load！即可
如果窗口太小，需要用滚轮来上下滑动每个端口的话，在tmux服务中输入以下指令：
Ctrl+b : set -g mouse on接下来即可进行VLFM的评估：
python -m vlfm.run五、关闭VLFM
在VLFM评估结束后，需要释放显存，输入以下指令杀死tmux服务：
tmux kill-session -t vlm_servers_xxxxx # 用以下指令查看是否杀死了tmux tmux ls