GeoSim具有几何感知合成的真实感图像模拟

例如，人类可以在脑海中合成未察觉的事件，以想象在高峰时段空荡荡的街道会是什么样子。计算机的类似功能可能在电影制作或增强现实中很有用。最近的一篇论文提出了GeoSim，这是一种逼真的图像处理框架，可将动态对象插入现有视频中。

这种方法使用自动驾驶汽车捕获的数据来构建3D资产银行。然后使用来自LiDAR读数和3D地图的3D场景布局在合理位置添加车辆。使用智能驾驶员模型，以便新对象与现有对象具有真实的交互并尊重交通流量。神经网络用于通过填充孔洞、调整颜色不一致和去除尖锐边界来无缝插入对象。这是第一种充分考虑物理现实性并通过定性和定量措施优于先前研究的方法。

可扩展的传感器仿真是自动驾驶等安全关键领域的一个重要但具有挑战性的开放问题。当前的图像模拟工作要么不能达到照片般逼真，要么不能对3D环境和其中的动态对象进行建模，从而失去高级控制和物理真实感。在本文中，我们介绍了GeoSim，这是一种几何感知图像合成过程，它通过使用从其他场景中提取并以新颖姿势渲染的动态对象来增强现有图像来合成新颖的城市驾驶场景。为实现这一目标，我们首先从传感器数据中构建了具有逼真几何形状和外观的多样化3D对象库。在模拟过程中，我们执行一种新颖的几何感知模拟合成程序，其中1)将合理且逼真的对象放置到给定场景中，2)渲染来自资产银行的动态对象的新颖视图，以及3)组合和混合渲染的图像片段。生成的合成图像具有真实感、流量感知和几何一致性，允许图像模拟扩展到复杂的用例。我们展示了两个这样重要的应用：跨多个摄像头传感器的远程真实视频模拟，以及用于下游分割任务数据增强的合成数据生成。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！