如何通过ICCV 2021的全局场景背景图与关系优化实现全景3D场景理解？

本文共计2216个文字，预计阅读时间需要9分钟。

DeepPanoContext：结合全局场景背景图和关系优化进行全景3D场景理解（ICCV 2021）

DeepPanoContext: 基于全局场景背景图和关系优化的全景3D场景理解（ICCV 2021）

论文标题：DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene Context Graph and Relation-based Optimization

论文、项目地址：在公众号「3D视觉工坊」，后台回复「DeepPanoContext」，即可直接下载。

摘要

全景图像具有更大的视场，因此与标准透视图像相比，全景图像自然编码了丰富的场景上下文信息，但在以往的场景理解方法中并没有很好地利用这一点。本文提出了一种新的全景三维场景理解方法，该方法可以从单一的全景图像中恢复三维房间布局以及每个对象的形状、姿态、位置和语义类别。为了充分利用丰富的环境信息，设计了一种基于图神经网络的环境模型来预测对象与房间布局之间的关系，并设计了一种基于可微关系的优化模块，利用精心设计的目标函数实时优化对象布局。研究人员考虑到现有的数据要么是不完整的真实场景，要么是过于简化的场景，因此提出了一种新的综合数据集，该数据集在房间布局和家具摆放方面具有良好的多样性，具有真实的图像质量，可用于全面的全景3D场景理解。实验表明，该方法在几何精度和物体排列方面都优于现有的全景场景理解方法。

研究内容

在本文中，研究人员赋予全景场景理解任务更强的3D感知能力，以单幅彩色全景图像作为输入，旨在预测物体的形状、三维姿态、语义类别和房间布局。