ARCADE：用AR交互评估弥合CV模型指标与感知的鸿沟

1. 项目概述：当指标“说谎”时，我们如何看清计算机视觉模型的真实能力？

在计算机视觉（CV）研究与应用的前沿，我们每天都在见证新模型的诞生。从深度估计到光照预测，从语义分割到目标检测，每个新模型发布时，都伴随着一系列令人印象深刻的定量指标：RMSE（均方根误差）降低了几个百分点，AbsRel（绝对相对误差）又创新低，δ1（阈值精度）逼近满分。这些数字构成了论文中的核心结论，也主导了各大排行榜的排名。然而，作为一名长期浸淫在CV模型部署一线的从业者，我越来越频繁地遇到一个令人困惑的“分裂”现象：一个在NYU Depth V2数据集上RMSE指标遥遥领先的深度估计模型，当被集成到我们的增强现实（AR）家具预览应用中时，却让虚拟沙发“漂浮”在半空，或者与真实物体的遮挡关系错乱不堪。同样，一个在标准光照估计基准测试中角误差最小的模型，渲染出的虚拟物体却与环境光格格不入，显得虚假而突兀。

这背后是一个长期被忽视，却又至关重要的核心问题：定量指标与人类视觉感知之间，存在着一道难以逾越的鸿沟。这道鸿沟，我称之为“指标-感知鸿沟”。它并非源于模型本身不够先进，而是根植于当前主流的评估范式之中。传统的、数据驱动的基准测试方法，其流程充满了“黑箱”操作和脆弱的假设。从数据预处理时一个不起眼的裁剪或掩码选择，到数据集划分的细微差异，再到传感器本身在特定环境（如透明表面、低反光材质、动态光照）下产生的带噪声甚至缺失的“地面真值”（Ground Truth），每一个环节的微小变动，都可能让模型的指标排名发生戏剧性的翻转。更关键的是，即使我们小心翼翼地控制所有变量，得到一个“漂亮”的指标分数，这个分数也常常无法预测模型在真实、交互式应用（如AR、机器人导航）中的实际表现。因为指标是全局的、平均的，而人类的视觉感知是局部的、对特定类型的错误（如物体边缘的模糊、深度的不连续、光照的不协调）异常敏感。

ARCADE（AR as an Evaluation Playground）正是为了弥合这道鸿沟而生的一个平台。它不是一个替代传统指标的工具，而是一个强大的补充和验证环境。其核心思想非常直接：既然模型最终要服务于AR这类强交互、重感知的应用，那么为什么不直接在AR的环境中评估它？ARCADE构建了一个模块化的评估工作流，将数据采集、模型推理、AR任务渲染和可视化分析集成在一个可复现的框架内。研究人员只需“插入”自己的CV模型，配置好实验协议，就能在一个统一的AR场景中，同时获得标准的定量指标和直观的、基于任务的感知评估结果。这就像为模型评估搭建了一个“试车场”，在这里，模型不仅要跑出漂亮的圈速（指标），还要经受各种复杂路况（AR交互任务）的考验，看看它是否真的“好开”。

2. 传统CV模型评估的“阿喀琉斯之踵”：为何指标会失灵？

在深入探讨ARCADE如何工作之前，我们必须先彻底理解当前评估体系究竟在哪里出了问题。这些问题并非理论上的吹毛求疵，而是每一个试图将CV模型从论文落地到产品的工程师都曾踩过的“坑”。

2.1 脆弱的数据驱动基准：隐藏在细节中的“魔鬼”

数据驱动的基准测试是CV领域的黄金标准，但其可靠性建立在诸多脆弱的假设之上。任何一个环节的微小偏差，都可能导致评估结果的系统性失真。

2.1.1 预处理与后处理的“隐藏选项”模型评估并非从原始数据直接到最终分数。中间要经过一系列预处理（如图像缩放、归一化）和后处理（如深度值裁剪、无效区域掩码）。这些步骤的选择往往被视为“实现细节”而未在论文中充分披露，但它们对最终指标的影响可能是决定性的。

以深度估计为例。常见的做法是依据传感器有效范围对预测深度进行裁剪（Clipping），并掩码掉图像边缘因传感器视场角产生的黑色无效区域。我们在复现主流模型时发现，仅仅关闭对深度范围的裁剪这一项操作，就可能导致ZoeDepth模型的RMSE指标产生约2%的波动。原因在于，裁剪改变了参与误差计算的有效像素集合。同样，对于HybridDepth模型，如果不掩码传感器特定的黑色边框，其AbsRel误差会从0.039增加到0.041。在模型性能非常接近的排行榜上，0.002的差异足以改变排名顺序。这意味着，比较两篇采用了不同预处理流程的论文中的模型，很可能是在进行“苹果与橘子”的比较。

在光照估计中，问题同样存在。例如，在进行高动态范围（HDR）色调映射时，伽马校正值（γ）的选择就是一个典型的隐藏参数。在我们的测试中，对DiffusionLight模型，将默认的γ=2.4改为γ=2.2，其渲染结果的RMSE可以从0.43降至0.41；而改为γ=2.6时，RMSE则升至0.45。这个看似微小的参数调整，直接影响了模型在指标上的表现。

实操心得：在复现或对比模型时，第一要务是仔细检查并统一预处理和后处理流水线。最可靠的方法是直接使用原作者公开的评估代码。如果没有，则需要根据论文描述尽可能精确地复现，并将所有参数选择记录在案。任何“默认”或“常规”操作都需要被显式定义。

2.1.2 数据集划分的“巴别塔”即使处理流程一致，数据集本身的使用方式也可能成为复现的障碍。以经典的NYU Depth V2数据集为例，社区中存在至少两种广泛使用的划分方式：一种是包含654张测试图像的标准划分，另一种是跟随BTS论文使用的、包含1449张对齐图像对的划分。像HybridDepth、ZoeDepth和DepthAnything这类新模型，大多采用了后一种划分进行训练和测试。这就导致，如果你想将它们的成绩与早期使用标准划分的模型（如DefocusNet）进行直接对比，在数学上是不可能的。唯一的办法是使用相同的数据划分重新训练所有模型，这无疑是一项耗时耗力的巨大工程。这种不一致性严重损害了研究社区内成果的可比性和累积性。

2.1.3 不同输出空间的“对齐陷阱”深度估计模型的输出空间各不相同：有的是度量深度（单位：米），有的是相对深度（未知的全局缩放和平移），还有的是视差。为了与单一的地面真值进行比较，研究者通常会对预测结果进行全局的尺度-平移对齐（Scale-Shift Alignment），常用最小二乘法求解。

然而，这种方法存在一个根本性缺陷。它假设预测深度与真实深度之间存在简单的线性关系。但对于视差或逆深度这类非线性空间，这种假设并不成立。如图3a所示（引用自BenchDepth研究），当预测图中存在少量但偏差很大的异常值时，未经对齐的指标（如δ1.25）可能因为大部分像素正确而表现尚可；但经过最小二乘对齐后，全局的尺度和平移参数会被这些异常值“拉偏”，导致对齐后的指标反而更差。虽然使用RANSAC等鲁棒方法可以在对齐时忽略异常值，但无法完全消除这种失真。这意味着，对齐操作本身就可能扭曲甚至逆转不同模型之间的性能趋势，使得跨输出空间的模型比较变得不可靠。

2.1.4 “地面真值”本身并不“真”基准测试将传感器采集的数据奉为“地面真值”，但传感器本身并非完美。深度传感器（如结构光、ToF、LiDAR）在遇到透明物体（玻璃）、镜面反射或低反光率（黑色绒布）表面时，会普遍失效，产生数据空洞或带有偏差的测量值。一个能够根据上下文合理推断出更完整几何结构的模型，反而可能因为与这些有缺陷的“真值”不一致而受到惩罚。即使是iPhone 14 Pro上的高端LiDAR，在ARKitScenes数据集中也存在大量深度值缺失的样本（图3b）。

环境因素进一步加剧了“真值”的不稳定性。数据集通常是在不同时间、不同光照条件下采集的。我们设计了一个简单实验：固定Intel RealSense L515相机和场景，仅通过开关窗帘改变环境光照。结果显示，这一个小小的光照变化就会劣化传感器自身的深度图质量，并导致DepthAnythingV2模型的误差显著上升（RMSE +11.1%， MAE +14.5%， AbsRel +40.3%）。这表明，评估结果可能更多地反映了传感器在特定环境下的局限性，而非模型本身的真实能力。

2.2 指标与感知的割裂：当高分模型遭遇真实世界

即使我们克服了上述所有挑战，得到了一个在受控基准测试中表现“完美”的模型，它仍然可能在真实应用中失败。这是因为标准指标是全局的、统计性的摘要，而人类视觉系统对特定类型的局部错误极其敏感。

2.2.1 深度估计的“感知-指标”悖论观察表3，DepthAnything V2在NYU Depth V2数据集上的RMSE指标显著优于ZoeDepth（约25%）。然而，当我们将这两个模型接入ARCADE，进行虚拟物体放置的AR任务时，情况发生了变化。如图6所示，尽管DepthAnything V2指标更优，它在许多场景中仍然会出现明显的感知错误。例如，虚拟茶壶被错误地放置在看似“漂浮”的位置，或者与真实物体的遮挡关系出现混乱。这些错误通常发生在物体边缘、深度不连续区域或纹理稀疏的区域。RMSE这类全局平均误差指标，会对所有像素的误差一视同仁，因此无法捕捉到这些对人类视觉体验破坏性极强的局部错误。一个在整体上“平均”误差很小的模型，完全可能在关键区域犯下“致命”错误。

2.2.2 光照估计的“指标内战”在光照估计任务中，不同指标之间甚至可能“打架”，给出矛盾的结论。表4展示了在“三球体”协议下，对XiheNet、StyleLight和DiffusionLight三个模型的评估结果。我们发现，没有一个单一的指标能全面反映模型的感知质量。例如，XiheNet在环境贴图（Env. Map）的Si-RMSE指标上表现最好，但其角误差（Angular Error）却是最差的。这意味着，它预测的光照在整体强度分布上可能接近真值，但主要光源的方向却偏差较大。在AR渲染中，错误的光源方向会导致虚拟物体的阴影方向与环境完全不匹配，产生强烈的违和感，这种感知上的失败是Si-RMSE无法反映的。

核心洞见：传统的、单一的定量指标就像一份体检报告中的几个关键生化指标。它们很重要，能反映整体健康状况，但无法告诉你一个人跑步时的姿态是否协调，或者对复杂环境的反应是否灵敏。ARCADE要做的，就是为CV模型安排一次“综合性体能测试”，在模拟真实应用场景（AR）中，观察它的“运动表现”。

3. ARCADE架构解析：构建可复现的感知评估工作流

面对上述挑战，ARCADE的设计目标非常明确：可复现性、以感知为中心、即插即用。其核心是用一个统一的、标准化的“捕获一次，评估多次”的工作流，取代研究人员各自为政、难以复现的定制化评估脚本。

3.1 核心设计理念与工作流对比

图1清晰地展示了ARCADE带来的范式转变。在没有ARCADE的传统流程中（左图），一位研究员若想评估其深度模型在AR遮挡渲染中的实际效果，他需要：

1. 开发一个AR应用：集成渲染引擎、处理传感器数据。
2. 采集数据：设计场景，使用特定设备录制带有位姿信息的RGB-D序列。
3. 配置模型：将模型集成到应用中，处理输入输出格式。
4. 设计评估基准：定义如何量化渲染效果，可能是主观评分或定制指标。

这个过程不仅工程量大，而且每个环节的选择（如渲染引擎、数据格式、评估标准）都因人而异，导致结果无法在不同研究间进行公平比较。

而使用ARCADE后（右图），流程简化为：

1. 配置实验协议：在ARCADE中定义要测试的AR任务（如物体放置、遮挡测试）、评估指标和对比模型。
2. 提供CV模型：通过标准接口“插入”自己的模型。
3. 执行端到端评估：ARCADE自动处理数据流、模型推理、任务渲染，并同时输出定量指标和交互式可视化结果。

ARCADE充当了一个中立的评估平台，它固定了数据预处理、渲染和指标计算流程，确保所有模型都在完全相同的条件下被测试。研究人员可以将精力完全集中在模型本身的改进上。

3.2 系统架构与模块详解

ARCADE采用微服务架构，主要分为三个组件，如图7所示：AR设备客户端、边缘服务器和Web应用。这种松耦合设计保证了系统的灵活性和可扩展性。

3.2.1 AR设备客户端：高质量数据采集器数据是评估的基石。ARCADE客户端负责捕获高质量的、时空同步的多模态数据流。我们主要支持两种方式：

1. 原生iOS/ARKit应用：利用iPhone（如iPhone 14 Pro）的RGB摄像头、LiDAR扫描仪和视觉惯性里程计（VIO），实时捕获RGB图像（1920x1080）、LiDAR深度图（ARKit原生分辨率192x256）以及精确的相机位姿（姿态和位置）。深度图以16位精度流式传输，避免量化误差；位姿数据附带纳秒级时间戳，确保与图像帧严格同步。
2. 跨平台ARFlow客户端：为了不局限于苹果生态，我们集成了ARFlow，它可以在更多移动设备和平台上运行，并通过gRPC与gzip压缩来优化带宽使用。

此外，客户端还可以安装在如Raspberry Pi驱动的PiCar-X这样的移动平台上，实现远程场景探索和数据采集，极大地丰富了数据集的多样性。

3.2.2 边缘服务器：模型推理与AR渲染引擎这是ARCADE的“大脑”，运行在拥有强大GPU（如NVIDIA RTX 4090）的服务器上。它包含几个关键模块：

• 可插拔模型接口：这是ARCADE的核心创新之一。研究人员可以通过两种方式集成模型：
  • Python模块：遵循一个简单的模板，实现模型加载、预处理和推理函数。
  • Docker容器：将整个模型及其依赖环境打包成容器，通过REST API与服务器通信。这种方式完美解决了依赖冲突和环境配置问题，真正实现了“即插即用”。 目前，ARCADE内置了对深度估计和光照估计模型的支持模板，因为它们对AR渲染至关重要。
• AR任务模块：负责执行具体的感知评估任务。这是将模型输出转化为可感知体验的关键。
  • 物体渲染模块：使用估计出的深度和光照，将虚拟物体（如一个茶壶）渲染到真实场景的图像中。用户可以交互式地调整物体的位置、大小和光照条件，直观地判断模型输出的几何和光照信息是否能让虚拟物体“融入”现实。
  • 遮挡渲染模块：在场景中放置一个半透明的黑色平面，并使其根据估计的深度图与真实物体产生正确的遮挡关系。如果深度图在物体边缘处模糊或不准确，虚拟平面就会错误地“切”过真实物体，这种视觉瑕疵一目了然。
  • 3D点云模块：将估计的深度图转换为3D点云，并允许用户从任意角度查看。这个功能对于发现深度图中的整体结构错误、孔洞或不平滑的表面非常有效，这些问题在2D图像视图中可能不易察觉。
• 数据集存储与流水线：所有采集的会话（Session）都被存储下来。这意味着，同一个真实场景只需捕获一次，就可以被用来反复测试不同的模型、不同的AR任务，或者在不同的评估协议下进行分析，从根本上保证了评估的公平性和可复现性。

3.2.3 Web应用：统一的交互式控制台研究人员通过浏览器访问Web应用，与整个系统交互。它提供四大功能：

1. 实时视图：实时观看AR设备捕获的场景，并叠加模型预测结果和虚拟物体，进行即时调试。
2. 会话回放：随时回放任何已存储的采集会话，就像看录像一样分析模型在每一帧的表现。
3. 帧分析：并排查看同一帧图像上不同模型的预测结果、误差热图以及详细的逐像素指标。
4. 交互操作：直接在网页中与渲染的AR场景互动，如拖放虚拟物体、切换查看模式（2D/3D）、调整渲染参数等。

这个统一的界面将传统的“看数字”和现代的“看效果”评估方式无缝结合，让研究人员能快速从宏观指标下钻到具体的感知问题。

4. 实战演练：使用ARCADE进行深度与光照估计评估

理论说再多，不如亲手试一试。下面我将以深度估计和光照估计这两个AR核心任务为例，详细拆解如何在ARCADE中完成一次从数据采集到感知分析的完整评估。

4.1 案例一：深度估计模型评估

假设我们手头有三个先进的单目深度估计模型：Apple的ARKit（设备原生）、ZoeDepth和DepthAnything V2。我们想评估它们在室内复杂场景下的实用性能。

4.1.1 数据采集与准备首先，使用iPhone上的ARCADE客户端，在一个包含桌子、椅子、书架（有复杂边缘）和一面镜子的办公室场景中，缓慢移动设备，录制一段约30秒的视频。系统会同步保存RGB帧、LiDAR深度图（作为参考真值，但需知其局限性）和相机位姿。

4.1.2 模型集成与配置接下来，将ZoeDepth和DepthAnything V2模型集成到ARCADE中。以ZoeDepth为例，我们创建一个Docker容器，其中包含PyTorch环境、模型权重文件，并实现一个简单的HTTP服务。该服务接收一个POST请求，包含RGB图像，返回预测的深度图。在ARCADE的Web界面中，我们添加这个模型的REST API端点，并为其命名。

4.1.3 运行AR任务与定量分析在Web界面中，选择刚才录制的会话，并勾选ARKit、ZoeDepth和DepthAnything V2三个模型进行对比。ARCADE会自动对每一帧运行所有模型，并计算它们相对于LiDAR深度（在有效区域）的标准指标，如RMSE、AbsRel、δ1等。我们可以立刻看到一个指标对比表格。

4.1.4 交互式感知评估：发现指标掩盖的问题数字可能显示DepthAnything V2整体更优。但现在，我们切换到“物体放置”任务。从资源库中选择一个虚拟茶壶，尝试将其放置在桌面上。

• 观察点1：放置稳定性。当我们移动茶壶时，基于ZoeDepth的茶壶可能会在某些区域（如桌面边缘靠近书本的地方）发生轻微的“抖动”或“穿透”，而基于ARKit深度的放置则非常稳定。这说明ZoeDepth的深度图在那些区域存在噪声或不确定性。
• 观察点2：遮挡关系。将茶壶移动到书架前。切换到“遮挡渲染”任务，放置一个黑色平面在茶壶后面。理想情况下，书架应该遮挡住平面的一部分。如果某个模型估计的深度使得书架“变薄”了，那么黑色平面就会错误地显示在书架前方。这种 occlusion 错误在指标中很难体现，但在视觉上非常扎眼。
• 观察点3：3D几何一致性。打开“3D点云”视图，从侧面观察场景。你可能会发现，虽然DepthAnything V2的RMSE更低，但其生成的点云在远离图像中心的区域（如图像边缘）可能出现扭曲或“塌陷”，而ARKit由于有主动LiDAR的辅助，几何结构更加完整和一致。这解释了为什么有时设备原生传感器融合方案在AR体验上优于纯视觉模型。

通过这一系列交互操作，我们得到的结论远比看数字丰富：DepthAnything V2在整体精度上领先，但在场景的局部几何细节和边缘处理上可能存在隐患；ZoeDepth可能更平滑，但对复杂纹理和边缘的区分能力稍弱；ARKit作为传感器融合方案，提供了最稳定可靠的几何信息，但依赖于特定硬件。这种洞察对于为特定AR应用选型至关重要。

4.2 案例二：光照估计模型评估

光照估计的目标是从单张RGB图像中推断出场景的环境光照（通常表示为球谐函数或环境贴图），用于照亮虚拟物体。我们评估XiheNet、StyleLight和DiffusionLight三个模型。

4.2.1 集成“三球体”评估协议光照估计的评估比深度更复杂，因为缺乏直接的“地面真值”。ARCADE支持集成自定义评估协议。我们实现了经典的“三球体”协议：在虚拟场景中放置一个漫反射球、一个哑光球和一个镜面球，分别用不同模型估计的光照去渲染它们，并与使用“真实”光照（通常来自专业设备或合成数据）渲染的结果进行对比。 我们在ARCADE中配置这个协议，它会在后台自动为每一帧图像渲染这六个球体（三个模型 x 三种材质）。

4.2.2 多指标矛盾与感知调和在Web界面中，我们同时查看三个模型在角误差、Si-RMSE和RMSE上的表现。如表4所示，我们很可能看到矛盾的排名：模型A角误差最小（方向准），但Si-RMSE最大（整体强度分布差）；模型B则相反。

4.2.3 视觉验证：寻找“真实感”此时，定量指标陷入了“内战”。我们切换到“物体渲染”任务，将一个虚拟的石膏像模型放入场景。

• 使用XiheNet（假设其角误差大）估计的光照渲染时，石膏像的阴影方向可能与场景中真实物体的阴影方向明显不一致，尽管其整体明暗对比可能看起来“舒服”。
• 使用StyleLight（假设其RMSE小）估计的光照渲染时，石膏像的阴影方向可能正确，但高光区域可能过亮或过暗，显得不自然。
• 我们通过交互，手动旋转虚拟物体，观察其表面明暗变化是否与环境中真实物体的光影逻辑相符。哪个模型渲染的结果看起来最“不突兀”、最“真实”，哪个模型在感知上就更胜一筹。ARCADE允许我们快速在多个模型、多个场景之间进行这种A/B测试，从而做出基于视觉感知的最终判断。

4.3 自动场景生成与协议扩展

手动为感知研究设计测试场景既耗时又可能引入主观偏差。ARCADE提供了一个自动高质量场景生成管道。例如，系统可以自动检测捕获场景中的水平支撑面（如地板、桌面），然后在这些面上随机采样多个位置和朝向，自动放置虚拟物体（如图6b中的多个茶壶），并过滤掉那些位于相机视锥体之外的无效位置。这能快速生成大量多样化的、物理上合理的测试场景，用于系统的感知研究或压力测试。

此外，研究人员可以轻松扩展ARCADE，实现自己的自定义实验协议。例如，想实现类似HYPE协议的时间受限感知阈值测试，只需在ARCADE的数据流和渲染管道之上，编写控制视觉刺激呈现顺序、时长和收集用户反馈的应用逻辑即可。ARCADE提供了底层的数据、模型和渲染能力，让研究者能专注于实验设计本身。

5. 性能、可用性与避坑指南

一个评估平台本身必须是高效、稳定且易用的。经过实测，ARCADE在当前配置下完全能满足实时交互式评估的需求。

5.1 系统性能实测

我们的测试环境是：iPhone 14 Pro作为AR客户端，通过校园Wi-Fi连接到一个搭载NVIDIA RTX 4090和Intel i9-13900K的边缘服务器，Web客户端在同一网络下。

• 端到端延迟：对于640x480分辨率的视频流，从帧捕获到在Web端完成AR渲染和合成的平均延迟约为5.2毫秒。对于1080p全高清流，延迟约为20毫秒。用户交互（如拖动虚拟物体）的响应延迟在7.5毫秒到18毫秒之间。这意味着研究人员可以获得即时的视觉反馈，评估体验非常流畅。
• 优化关键：巨大的性能提升来自于对渲染和合成管线的深度优化。我们最初的原型每帧处理需要约300毫秒，通过将RGB压缩为PNG（保留Alpha通道）、深度图使用16位原始缓冲区传输、并使用GPU加速的合成器，最终将延迟降低到了可忽略不计的水平。

5.2 用户研究反馈

我们邀请了15位CV/ML领域的研究人员进行可用性研究。结果令人鼓舞：

• 总体满意度：平均得分4.2/5。
• 任务适用性判断：在判断深度模型是否适用于特定AR任务方面，ARCADE被评为非常有效（4.67/5）。
• 失败案例发现：在快速发现模型失败案例方面，得分同样很高（4.53/5）。
• 工程负担降低：研究人员普遍认为ARCADE显著降低了进行真实世界评估所需的工程工作量（4.33/5）。

5.3 常见问题与实操心得

在实际部署和使用ARCADE的过程中，我总结了一些关键注意事项和技巧：

1. 数据采集的“清洁度”是关键

• 问题：采集的数据流中存在帧丢失、时间戳不同步或传感器突然失效的情况，导致后续评估出现诡异错误。
• 对策：在开始正式评估前，先用ARCADE的“实时视图”功能在目标环境中进行预览和短时间录制回放。检查深度图是否有大面积空洞（可能是面对窗户或镜子），检查相机位姿是否平滑（剧烈抖动会导致AR渲染不稳定）。确保录制环境的光照相对稳定，避免频繁的闪光或光线突变。

2. 模型集成的“接口规范”必须严格遵守

• 问题：自研模型集成后，ARCADE调用时崩溃或无输出，排查困难。
• 对策：强烈建议首次集成时使用Docker容器方式。这能将模型的环境依赖与ARCADE服务器环境隔离。在容器内，务必确保你的推理脚本：
  • 接收的输入数据格式（如image字段为Base64编码的PNG字符串）与ARCADE文档一致。
  • 输出的数据格式（如深度图为16位PNG，光照参数为JSON数组）符合规范。
  • 设置合理的超时和错误处理，返回标准的HTTP状态码和错误信息。可以先在本地用curl命令模拟请求测试容器，再接入ARCADE。

3. 感知评估的“主观性”需要系统化

• 问题：不同研究员对同一个AR渲染结果的“好坏”判断不一致。
• 对策：ARCADE支持设计结构化的感知研究协议。不要只停留在“看看效果”。可以：
  • 定义评分标准：例如，对“物体放置的真实感”采用5分制Likert量表（1=完全虚假，5=完全真实）。
  • 创建对比任务：在界面中并排显示A/B两个模型在同一场景下的渲染结果，让评估者盲选哪个更好。
  • 记录交互日志：ARCADE可以记录用户在评估过程中的所有交互（如放置物体的位置、查看的角度、停留时间），这些数据可以作为量化感知体验的辅助指标。

4. 充分利用“回放”与“对比”功能

• 问题：在实时流中发现问题时，一闪而过，难以复现和深入分析。
• 对策：ARCADE的核心优势在于“捕获一次，评估多次”。任何时候发现可疑现象，立即保存当前会话。在回放模式下，你可以：
  • 逐帧分析：在问题帧暂停，并排查看所有模型的深度图/光照图、误差热图。
  • 变量控制：固定场景和视角，只切换不同的模型，进行最公平的对比。
  • 导出数据：将特定帧的输入图像和所有模型的输出结果导出，用于离线更深入的分析或生成论文中的示意图。

5. 理解并质疑“地面真值”

• 问题：过度依赖设备传感器（如LiDAR）提供的“地面真值”进行指标计算，可能惩罚了实际上更合理的模型预测。
• 对策：始终对传感器数据保持怀疑态度。在ARCADE中，当看到模型的预测与LiDAR深度图差异很大时，不要急于下结论。切换到3D点云视图，分别查看LiDAR点云和模型预测的点云。如果模型预测的表面更连续、完整（例如补全了LiDAR在黑色沙发上的空洞），而LiDAR数据在那里本身就是缺失或错误的，那么这个“大误差”可能恰恰说明了模型的优越性。ARCADE的感知任务正是为了在这种情况下提供第二判断依据。

6. 总结与展望

ARCADE代表了一种评估范式的转变：从孤立地看待模型在静态数据集上的数字分数，转向在动态、交互的应用上下文中综合评价其感知质量。它通过将AR技术从应用领域反哺到评估阶段，为CV模型研究提供了一个高保真、可复现、以人为中心的“试炼场”。

从我个人的使用经验来看，ARCADE最大的价值在于它极大地压缩了从“有一个新模型想法”到“知道它在真实场景中到底行不行”的循环周期。过去，这个周期可能需要数周来开发测试程序、采集数据、集成渲染；现在，可能只需要几个小时。它让感知评估变得像跑一个标准脚本计算RMSE一样方便。

这个平台自然是开放的、可扩展的。虽然我们目前聚焦于深度和光照估计，但其模块化设计意味着它可以被扩展到更多CV任务，例如：

• 语义/实例分割：评估分割掩码的边界精度如何影响AR中虚拟物体与真实物体的交互（例如，物体是否准确地“停”在桌面上，而不是略微嵌入）。
• 表面法线估计：评估法线图的质量对虚拟物体着色和光影融合的真实感影响。
• 相机重定位：在AR回放中，对比不同VSLAM或重定位算法在相同轨迹下的漂移和抖动情况。

最后一点建议是，将ARCADE融入你的模型开发工作流中，不要把它仅仅当作最终测试的工具。在模型迭代的早期，就定期用ARCADE在几个代表性场景中跑一下，看看那些不断下降的损失函数曲线，是否真的转化为了更稳定、更真实的AR渲染效果。很多时候，这种早期的、直观的反馈，比任何复杂的指标都更能指引你找到正确的改进方向。毕竟，我们开发计算机视觉模型的终极目标，是让机器更好地“看见”并理解我们的世界，而ARCADE正是帮助我们检验这一目标实现程度的绝佳透镜。