跨模态3D形状生成和操作

3D采集和可视化技术的最新进展需要用于3D内容创建和编辑的工具。然而，大多数先前关于2D到3D形状操作的工作都是针对特定的编辑任务和交互格式量身定制的。

arXiv.org最近的一篇论文提出了一个2D到3D框架，该框架适用于单一控制模式。它可以灵活地处理各种类型的2D交互，而无需更改架构或重新训练。

该框架在每个2D和3D模态的生成模型中构建了一个共享的潜在表示。该表示强制任意潜在代码对应于与每种模态一致的3D模型。

对两种有代表性的2D模态(灰度线草图和渲染的彩色图像)进行评估。结果表明，所提出的方法易于实现并且可以推广到对网络架构没有特殊要求的新模式。

创建和编辑3D对象的形状和颜色需要大量的人力和专业知识。与3D界面中的直接操作相比，草图和涂鸦等2D交互对于用户来说通常更加自然和直观。在本文中，我们提出了一种通用的多模态生成模型，该模型通过共享的潜在空间将2D模态和隐式3D表示耦合起来。使用所提出的模型，只需将编辑从特定的2D控制模式传播到潜在空间，就可以实现多功能的3D生成和操作。例如，通过绘制草图来编辑3D形状，通过在2D渲染上绘制彩色涂鸦重新着色3D表面，或者在给定一个或几个参考图像的情况下生成特定类别的3D形状。不同于以往的作品，我们的模型不需要对每个编辑任务进行重新训练或微调，并且在概念上也很简单，易于实现，对输入域变化具有鲁棒性，并且可以灵活地对部分2D输入进行多样化的重建。我们在灰度线草图和渲染彩色图像的两种代表性2D模态上评估我们的框架，并证明我们的方法能够使用这些2D模态进行各种形状操作和生成任务。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！