MVSNet在多视图几何三维重建实战中的应用有哪些？

本文共计3812个文字，预计阅读时间需要16分钟。

1.+ MVS概述MVS是一种从具有一定重叠度的多视图视角中恢复场景的加密结构技术，传统方法利用几何、光学等一致性结构构建适配代价，进行适配代价累积，再估算深度值。然而，传统方法存在一定局限性。

1. 概述

MVS是一种从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术，传统方法利用几何、光学一致性构造匹配代价，进行匹配代价累积，再估计深度值。虽然传统方法有较高的深度估计精度，但由于存在在缺少纹理或者光照条件剧烈变化的场景中的错误匹配，传统方法的深度估计完整度还有很大的提升空间。

近年来卷积神经网络已经成功被应用在特征匹配上，提升了立体匹配的精度。在这样的背景下，香港科技大学Yaoyao等人，在2018年提出了一种基于深度学习的端到端深度估计框架——MVSNet[1]。

虽然这两年已经有更多的框架在精度和完整度上面超过了MVSNet，但笔者发现，无论是基于监督学习的R-MVSNet 、Cascade – MVSNet等网络，还是基于自监督学习的M3VSNet，核心网型设计都是在借鉴MVSNet而完成的，而且MVSNet也是比较早期且较为完整的三维重建深度学习框架，了解该框架的原理、数据IO与实际操作能加深对2020年以来各种新方法的理解。

本篇的主要内容为MVSNet的深度估计框架介绍、深度估计原理及如何利用MVSNet进行三维重建的具体操作。

（注意：本方法需要11GB以上的GPU，推荐使用至少NVIDIA 1080Ti，且同样建议使用Linux进行操作。驱动建议安装CUDA9.0以上版本。