使用预测,传感器必须决定接下来要观察什么。
当机器人安装的摄像机必须推理遮挡、运动或下一个视点时,世界模型组件最有用。与大型预测模型相比,固定静态测量仪可以从更好的光学器件、校准和夹具中获得更多收益。
研究
以证据为主导的指南,介绍度量 3D 重建、主动视图规划和不确定性如何将世界模型与可追溯的工业视觉计量连接起来。
要点
工业计量的生产就绪世界模型不应直接从生成的视频估计尺寸。在将测量值与 CAD 或公差极限进行比较之前,它应结合校准的度量 3D 几何、动作条件状态预测、主动视点规划和不确定性传播。
本文采用机器辅助翻译,尚未经真人语言审阅。技术条件仍须依据实际样品与来源资料确认。 英文原文
当机器人安装的摄像机必须推理遮挡、运动或下一个视点时,世界模型组件最有用。与大型预测模型相比,固定静态测量仪可以从更好的光学器件、校准和夹具中获得更多收益。
即使局部物理尺度、表面位置或相机姿态错误,模型也可以生成令人信服的点云。工业视觉计量仍然需要物理参考制品、重复性研究以及最终报告尺寸的测量不确定度预算。
发送 CAD、公差、传感器和机器人约束、代表性表面和所需的循环时间。原型应说明哪些区域是不确定的、允许哪些相机动作以及如何衡量改进。
使用未参与模型设置或训练的独立工业验证零件,对几何重建进行基准测试。用经校准的标准器核对尺度,在不同位姿和表面条件下重复同一测量,并将校准、位姿、配准与模型的不确定度传播到最终报告的尺寸。评估主动视角策略时,应看它减少了多少不确定度,而不是渲染画面看起来有多完整。
工业计量世界模型结合了三个层次。第一个是几何感知:深度、相机姿态、点图以及从 RGB、RGB-D 或多视图进行物理缩放的 3D 重建。第二个是以动作为条件的世界模型:它预测机器人或相机动作后可见性、运动或几何形状如何变化。第三是工业计量,包括校准、测量基准、公差、重复性、不确定性和可追溯性。如果省略任何一层,则可以合法地对系统做出的声明就会发生变化。
可信的工业架构从已校准的相机、立体视觉、结构光或激光轮廓测量,以及已知的物理尺度开始。机器人位姿、参考标准器和 CAD 可约束重建。世界模型应在该实尺度状态上推理,而非从外观编造尺寸。最终输出仍应是带不确定度声明的实测特征或 CAD 偏差,而不是视觉上逼真的视频帧。
VGGT 和 MapAnything 可以根据灵活的视觉输入估计相机几何形状、深度、点图和物理缩放几何形状。它们对于初始化、匹配视图之间的相应图像点以及快速覆盖场景非常有用。这些功能无法证明抛光金属、黑色表面、重复形状或严格公差的生产测量精度。每个候选模型仍然需要工业基准、物理比例验证以及传统的几何或校准后端。
严格意义上来说,世界模型可以预测摄像机或机器人命令的后果。 PointWorld 使用 RGB-D 观察结果和机器人动作来预测 3D 场景运动。 TesserAct 预测未来的 RGB 图像、深度和表面法线。对于计量学来说,有用的问题不是下一张图像看起来是否真实。问题是移动传感器是否会暴露隐藏的测量基准、减少相机姿态的模糊性或减少关键尺寸的不确定性。
2026 年 MVM-IOD 基准测试从半球上机器人控制的角度记录了两个背景下的九个工业对象。这将创建 18 个带有参考相机姿势和点云的场景。评估报告称,这种设置超出了测试的前馈重建方法的输入分布,并且可能会降低相机姿态估计和点云质量。因此,自然图像基准测试的良好结果并不表明适合工厂使用。
不确定性感知系统可以标记观察不良的区域,模拟候选摄像机视点,并将传感器移动到预期最大程度减少不确定性的视图。 Trust3R 具有相关性,因为它解决了前馈 3D 重建的证据不确定性,而不仅仅是启发式置信度得分。在生产中,模型输出仍必须与校准误差、机器人位姿误差、几何配准残差和重复测量的变化相结合。
使用分阶段的准备情况评估。当已经满足公差时,一级使用校准的 3D 传感。第二级增加了对下一个摄像机视点的主动规划,这可以改善刚性部件的覆盖范围。第三级在移动部件、可变形材料或装配体需要时添加了动作条件预测。只有在完整的测量链验证了物理尺度、稳定的测量基准、可重复性的证据以及所报告的测量的记录的不确定度预算之后,才声明第四级。
三个有前途的研究方向与工业测量具有明显的相关性:不确定性感知的主动 3D 世界模型、用于反射或无纹理零件的 CAD 引导的物理缩放模型以及用于动态在线检测的物理感知 4D 模型。每个都将校准的几何形状保持在中心位置。预测用于选择摄像机视点、区分摄像机运动和物体运动或预测变形。它不用于绕过测量链。
| 比较项目 | 实际判断 | 询价时需要的资料 |
|---|---|---|
| 几何基础模型 | 根据视觉输入估计相机姿态、深度、点图或度量重建。 | 使用未参与训练或调参的独立工厂零件做基准评估,并以经校准的证据确定尺度后,再使用尺寸结果。 |
| 动作条件世界模型 | 预测相机或机器人动作后的未来场景状态。 | 定义允许的操作、每个操作所需的时间以及该操作必须减少的不确定性或遮挡。 |
| 神经渲染或 3DGS | 优化场景表现和新颖视角;视觉真实感本身并不能保证表面精度。 | 根据独立的参考几何体验证几何地标、表面和物理比例。 |
| 工业计量系统 | 报告校准尺寸或 CAD 偏差,并提供重复性和不确定性证据。 | 指定测量基准、公差、可追溯性、MSA 方法和可接受限度。 |
行动条件世界模型的操作定义以及预测、感知、控制策略和价值模型之间的边界。
根据 RGB-D 观察结果和低级机器人命令进行动作条件 3D 点流预测。
根据一幅或多幅图像对摄像机、深度、点图和轨迹进行前馈估计。
度量三维重建前端,可将图像与可选的相机内参、位姿、深度或部分几何信息一起使用。
对未来 RGB、深度和表面法线进行动作条件预测,以进行动态 4D 场景推理。
机器人控制的工业重建基准,具有参考姿势和点云,可揭示分布外的故障模式。
工业多视图配置结合了机器人运动、视图规划和复杂工件的点云配准。
前馈 3D 重建的证据每点不确定性,而不是未校准的置信度得分。
常见问题
它是一个连接到校准的 3D 测量链的动作条件预测模型。它可以预测相机或机器人动作后场景、可见性或不确定性如何变化,而尺寸输出仍然与真实尺度的几何、基准和经过验证的不确定性相关。
不,它们是几何感知或重建模型。它们可以提供摄像机、深度、点图或度量几何,但完整的世界模型还可以预测以动作为条件的未来状态。
它可以辅助初始化或重建,但直接使用尺寸仍须有独立尺度、校准、重复性测试、工业场景验证,以及与被测特征关联的不确定度预算。
主动视图规划选择下一个相机姿势,期望揭示被遮挡的表面、稳定几何配准或减少关键尺寸周围的不确定性。它不仅仅遵循固定的扫描路径。
不需要。具有受控呈现的固定刚性部件可能只需要合适的光学器件、校准的 3D 传感和稳定的夹具。当必须预测视点、运动、遮挡或变化状态时,世界模型会增加价值。
从校准的 3D 传感和 CAD 或参考几何体开始。然后添加不确定性感知重建和下一个摄像机视点的规划。仅当生产运动需要时才添加动作条件动态预测。
这些内容是内部编写的选型示例,用于说明组件选择与建议验收条件,并非真实客户项目、实测交付成果或客户背书。示例中的图片仅用于说明。