ECCV 2018 | Pixel2Mesh:从单帧RGB图像生成三维网格模型

  • 时间:
  • 浏览:0

本文定义了某种不同的损失函数来能助 网格更好地形变。

损失函数

Qualitative results. (a) Input image; (b) Volume from 3D-R2N2 [1], converted using Marching Cube [4]; (c) Point cloud from PSG [2], converted using ball pivoting [5]; (d) N3MR[3]; (e) Ours; (f) Ground truth.

本文作者:但是你更懂AI

受宽度神经网络特性的限制,但是 的办法通常用 volume 但是 point cloud 表示三维特性,将它们转换为更易于使用的 mesh 不须易事。与现有办法不同,本文使用图卷积神经网络表示 3D mesh,利用从输入图像中提取的特性逐步对椭球进行变形从而产生正确的几何特性。本文使用由粗到精的模式进行生成,使得整个变形过程更加稳定。

本文来自云栖社区相互战略合作伙伴“PaperWeekly”,了解相关信息还需用关注“PaperWeekly”。

模型架构

本文的目的在于提出某种生成结果光滑、重建精度高的利用单张彩色图生成物体三维网格模型的办法。本文越来越 直接采用生成 3D Mesh 的办法,就说 采用将另有2个固定的椭球办法图像特性逐渐形变成目标特性的策略。本文针对另有2个三维网格重建难点给出了外理方案:

Figure 1: Pixel2Mesh的架构

三维数据有多种表示形式,包括 volume、point cloud、mesh 等。volume 是某种规则的数据特性,即将物体表示为的 N3 格子,受分辨率和表达能力限制,你你这俩 表示办法通常缺陷细节。

实验结果

上图(a)中 P 是从输入图片得来的特性,是顶点的位置,两者组合可得到相应的投影特性,再与 GCN 的特性简单合并送入网格形变模块(Mesh Deformation Block)中。整个网络涵盖若干该模块。上图(b)是办法相机参数进行投影的示意图。

原文发布时间为:2018-09-10

point cloud 是某种不规则的数据特性,但是 点之间越来越 局部连结关系,点云往往缺陷物体的冠部信息;3D Mesh 同样是某种不规则的数据特性,由点、边和面组成,但是 其轻量、特性细节富足等特性,在虚拟现实、动画游戏、生产制造等实际产业中应用越来越 广泛,本文研究怎样才能从单张 RGB 图重建出对应的 3D mesh 模型。

1. 3D Mesh 的表示问题—引入图卷积神经网络。3D mesh 一般使用非规则数据形式—图(Graph)来表示,而一齐整个网络还需用对其输入的规则的图像数据进行特性抽取。本文使用图卷积网络(GCN)来外理三维网格,使用这俩 于 VGG-16 的网络来提取二维图像特性。为了将两者联系在一齐,设计了另有2个投影层使得网格中的每个节点能对应获取相应的二维图像的特性。

该论文由复旦大学、普林斯顿大学、Intel Labs 和腾讯 AI Lab 相互战略合作完成。文章提出了某种端到端的宽度学习框架,可从单张彩色图片直接生成三维网格(3D Mesh)。

上图是图的上池化过程。(a)中的黑色顶点即为新增的顶点,连接的虚线即为新增的边。这是 Edge-based 的办法,还有某种 Face-based 的办法,即在每个三角形中心再加另有2个顶点,但原本会造成网格顶点不均衡的问题,如(b)所示。在实际操作中,每个新增的点所处旧三角形的边的中点位置,特性的值取相邻两顶点的均值。

本办法对输入图像进行的三维网格建模的结果:

本文提出的办法在 ShapeNet 测试数据集上的表现,除了当阈值为时在 watercraft 类低于 PSG,一些指标均达到了最好水平。

Pixel2Mesh 的架构如图 1 所示。对于输入图像,设计另有2个多层的卷积神经网络,用于提取图片不同层次的特性。对于输出三维网格,设计了 3 个级联的变形模块,由图神经网络构成。Perceptual feature pooling 层可根据网格顶点坐标得到投影的图片特性,但是根据此特性不断对初始的椭球进行变形,以逼近真实特性。Graph unpooling 层用于增加三维网格节点和边的数量。

2. 怎样才能有效地更新网格的特性—引入图的上池化层。实验发现,直接训练网络使其预测 mesh 的效果不须好。另有2个因为着是但是 直接预测较大数量的点的网格,顶点的感受野会有受限,即 mesh 的顶点无法有效地检索邻近顶点的特性。为了外理你你这俩 问题,本文设计了另有2个图的上池化层(Graph unpooling layer),使得点的数量逐渐由少到多,相应的网格特性由粗到细,既保留了全局信息,又具有细节的表达。

CD 和 EMD

此外,本文还定义了几种与 mesh 相关的损失函数捕捉不同级别的特性,以保证视觉上有吸引力但是物理上高重建精度。血块实验表明,本文的办法不仅定性上还需用生成细节更加充分的 mesh 模型,但是与当前最好的办法相比也实现了更高的重建精度。

对于 CD 和 EMD,在 ShapeNet 测试集上,本文的办法在多数请况下都达到了最好水平。

F-score (%)