当前位置：首页 > news >正文

anyloc（2）升级到dinov3版本 - MKT

news 2026/4/22 4:21:04

anyloc（2）升级到dinov3版本

把这个项目总结成一个文字，方便我保存以后复现出来

• 项目总结

这个项目是一个独立的视觉位置重识别小工程，路径是
/home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr

它的目标是参考 AnyLoc 的思路，用 DINOv3 patch 特征 + VLAD 聚合 + FAISS 检索做一个可落地的全局位置检索工具。核心用途是：

- 对单张图片提取一个全局描述子并保存
- 对一个图库批量提取描述子并建立 FAISS 索引
- 对一张新图做检索，返回 top-k 匹配结果并可视化

当前已实现的 3 个功能

1. extract-image

- 输入一张图和缩放分辨率
- 提取 patch 特征
- 聚合成单张全局描述子
- 保存 descriptor.npy
- 保存特征图可视化 feature_map.png
- 保存 metadata.json
- 现在还会显示进度条和单张提取时间，并把 extract_time_sec 写进 metadata.json

2. build-map

- 输入一个图片文件夹和缩放分辨率
- 先提取 patch 特征，采样 patch，拟合 VLAD 聚类中心
- 再对每张图聚合出全局描述子
- 保存描述子矩阵、每张图描述子、VLAD 聚类中心、FAISS 索引、地图元数据
- 现在支持两轮进度条，显示当前第几张/总张数、当前图名、单张提取时间

3. query-map

- 输入一张查询图和已经构建好的地图目录
- 自动提取查询图描述子
- 加载地图描述子和 FAISS 索引
- 返回 top-k 匹配结果
- 保存 query_results.json
- 保存 query_feature_map.png
- 保存 topk_matches.png
- 现在会显示查询图提取进度和 top-k 匹配图逐张提取进度，并记录每张匹配图的特征提取时间
- topk_matches.png 现在会显示：
- 查询图
- 查询特征图
- 查询叠加图
- 每个 top-k 匹配图
- 每个匹配图的特征图
- 每个匹配图的叠加图

———

模型与特征方案

项目默认优先使用你本地下载的 DINOv3 模型目录：

/home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/dinov3_mode/dinov3-vitl16-pretrain-lvd1689m

不是默认去 Hugging Face 拉取。
代码已经改成：

- 如果传入的是本地目录，就自动 local_files_only=True
- 支持本地 DINOv3 权重直接加载
- 兼容 DINOv3 的 register tokens
- 提取 patch token 时会自动跳过 CLS + register tokens

当前默认模型引用位置在：

- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/constants.py
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/model.py

———

项目结构

主要文件如下：

- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/main.py
项目主入口，支持直接 python main.py ...
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/cli.py
命令行逻辑，3 个子命令都在这里
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/model.py
DINOv3 特征提取
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/aggregation.py
VLAD 聚合和 patch 采样
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/indexing.py
地图保存/加载，FAISS 索引保存/读取
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/faiss_compat.py
FAISS 兼容封装，支持 CPU/GPU 路径
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/vpr_dinov3/visualization.py
特征图和 top-k 结果可视化
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/pyproject.toml
已补成标准 pip 包配置
- /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/requirements.txt
项目依赖

———

环境与安装

当前使用环境：

- conda 环境名：py311_AnylocMast3r
- Python：3.11
- PyTorch：保留原环境，不主动升级
- CUDA：按你原来的 11.8 体系兼容

安装方式：

conda activate py311_AnylocMast3r
cd /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr
pip install -e . --no-deps

说明：

- 已支持标准 pip install -e .
- 也可以不装包，直接 python main.py ...

———

运行方式

1. 单图提取

conda run -n py311_AnylocMast3r python main.py extract-image \
--image /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/image/DJI_0001.jpg \
--resize 640 \
--output-dir /tmp/dinov3_extract_progress_test

输出：

- descriptor.npy
- feature_map.png
- metadata.json

2. 建图库

conda run -n py311_AnylocMast3r python main.py build-map \
--image-dir /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/image/images \
--resize 640 \
--output-dir /tmp/dinov3_map_progress_test

输出：

- descriptors.npy
- faiss.index
- vocab_centers.npy
- map_metadata.json
- per_image_descriptors/*.npy

3. 查询图库

conda run -n py311_AnylocMast3r python main.py query-map \
--image /home/dongdong/2project/1salm/py311_AnylocMast3r/dinov3_anyloc_vpr/image/DJI_0001.jpg \
--map-dir /tmp/dinov3_map_progress_test \
--output-dir /tmp/dinov3_query_progress_test

输出：

- query_descriptor.npy
- query_feature_map.png
- query_results.json
- topk_matches.png

———

我做过的关键改动

1. 本地 DINOv3 模型支持

- 默认模型改成本地目录优先
- 兼容 DINOv3 register tokens
- 避免必须联网拉权重

2. 包化

- 增加 pyproject.toml
- 支持 pip install -e .
- 已修正 console script 入口

3. 直接脚本执行兼容

- main.py 已支持直接：

python main.py ...

4. FAISS 改造