为什么V T 的最后一列就是解？
第一和第二帧产生地图点后，如果进来第三帧，如何定位第三帧，并将其建立的新地图点和现有地图点合并一个坐标系。考虑到第三帧和第二帧的相对位姿尺度未必与第一帧和第二帧一致。参考orb slam2解决
这是一个非常核心的细节！这个过程被称为 “地图点投影匹配”或 “从粗到精的搜索”。ORB-SLAM2 通过一系列精心设计的策略来高效且准确地完成这个匹配。其核心思想是：利用已知的几何信息来极大地缩小搜索范围，而不是在整个图像上进行暴力匹配。以下是详细的步骤分解：
第一步：投影与创建搜索窗口
- 投影地图点：
- 对于局部地图中的每一个地图点 Pw（世界坐标系下的3D点），利用第三帧的初始估计位姿Tcw（来自恒速模型或上一帧位姿）将其投影到第三帧的图像平面上。
- 投影公式： ppred=π(Tcw⋅Pw)，其中 π是相机投影模型。
- 确定搜索窗口和尺度：
- 搜索窗口：由于位姿估计和地图点位置本身都有不确定性，投影点 ppred不一定是精确的匹配位置。因此，系统会以 ppred为中心，建立一个矩形的搜索窗口。
- 尺度不确定性：地图点是在其被创建的关键帧的尺度上被观测到的。由于第三帧可能与创建该点的关键帧距离不同，同一个地图点在不同帧中可能会出现在不同的图像金字塔层级（尺度）上。
- 预测尺度：ORB-SLAM2 会根据地图点与第三帧光心的距离d来预测它应该在第三帧的哪个图像金字塔层级出现。具体来说，地图点会记录它被创建时的一个平均观测距离 dref和所在的金字塔层级 lref。
- 预测的尺度公式大致为： lpred=lref+log2(drefd)。
- 这个预测的尺度 lpred决定了搜索应该在哪个金字塔层级图像上进行，同时也决定了搜索窗口的半径（通常高层级的搜索半径会变小）。
第二步：在搜索窗口内进行匹配（描述子距离计算）
现在，任务是在第三帧上，以上述投影点 ppred为中心、在预测尺度 lpred附近的一个小范围内，找到一个特征点，其ORB描述子与地图点的ORB描述子最相似。
- 获取地图点的描述子：每个地图点都存储了一个代表性ORB描述子。这个描述子通常是在它被创建时，所有观测到它的关键帧的描述子中的中值描述子（通过计算每个bit位出现最多的值来得到），这使其对误差有一定的鲁棒性。
- 在搜索窗口内遍历所有候选特征点：
- 在第三帧上，找出所有位于搜索窗口内，并且所在金字塔层级与预测尺度 lpred相近（例如 lpred±1）的特征点。这些点就是潜在的匹配候选点。
- 计算描述子距离：
- 将地图点的描述子与搜索窗口内每一个候选特征点的描述子进行比较。
- ORB描述子是二进制描述子（256位），比较它们使用汉明距离（Hamming Distance），即两个二进制串之间不同位的个数。汉明距离越小，相似度越高。
- 筛选最佳匹配：
- 找出所有候选点中，与地图点描述子汉明距离最小的那个特征点。
- 为了确保匹配质量，这个最小汉明距离必须低于一个预设的阈值（比如50）。同时，还需要检查次优匹配的质量，即“最近邻/次近邻”比率检验：最佳匹配的距离要明显小于次佳匹配的距离（例如，最佳距离 < 0.8 * 次佳距离），以避免模糊匹配。
第三步：几何验证与异常值剔除
通过描述子匹配得到的对应关系可能仍然包含错误匹配（外点）。ORB-SLAM2 在后续的位姿优化步骤中会进行严格的几何验证。
- 直接线性变换（DLT）或RANSAC-PnP：在初始匹配阶段，有时会使用带RANSAC的PnP来快速剔除明显的错误匹配。
- 运动-only的BA优化（重投影误差优化）：这是最核心的步骤。在获得一组初步的匹配后，系统会构建一个优化问题：
Tcwmini∑ρ(∥pi−π(Tcw⋅Piw)∥2)- 在这个优化过程中，重投影误差过大的匹配对会被标记为外点。优化器（如g2o）会使用鲁棒核函数（如Huber核）来降低这些外点的影响。
- 优化完成后，那些误差始终很大的匹配会被直接剔除。