纯RGB视觉基于神经网络的点云重建SLAM3R（对白墙等弱纹理环境友好）

👑主页：吾名招财
👓简介：工科学硕，研究方向机器视觉，爱好较广泛…
​💫签名：面朝大海，春暖花开！

引言

之前测试过不少基于纯视觉RGB的slam算法，当对一个小的物体进行环绕一周拍摄时效果都不错，当目标扩大如对一个小型的室内进行点云重建时，若是室内纹理强前后帧间的特征点也多的话，效果也还行，但是当室内的纹理弱，基本都是大白墙的话，传统的基于视觉的slam的方法就不太行了，特征点少，前后帧匹配也就不好，深度估计也不好，最后重建的点云质量也比较差。
后面发现在纯视觉的slam方法中，新出的很多基于神经网络的slam方法效果比较好，其通过神经网络对室内进行深度估计、重定位等操作，对大白墙等弱纹理的场景有很好的效果，最后能重建出比较完整的彩色三维点云。

SLAM3R

https://github.com/PKU-VCL-3DV/SLAM3R/tree/main

环境配置

请参考官方教程

运行

启动时直接运行python app.py

此时就能在本地浏览器打开应用界面进行相关测试了
在本地浏览器打开此网址http://127.0.0.1:7860/
上传包含图片的文件夹

上传成功后点击运行

此时后台会加载相应的图片并训练，此处的数据集是官方数据集2000张图片，注意要保证本地电脑内存足够，否则会崩溃，基于神经网络的相关算法对电脑的性能要求都比较高

这里官方的数据集2000张太大了，本地电脑有些带不动，就先用85张的数据集简单演示一下


运行完成后结果如上，可以点击下载图标进行点云模型的下载

下载后的点云是glb文件，可以用本地的3D查看器查看