使用人工智能实时生成3D全息图

一种称为张量全息术的新方法可以为虚拟现实、3D打印、医学成像等创建全息图，并且可以在智能手机上运行。尽管多年来大肆宣传，但虚拟现实耳机尚未取代电视或电脑屏幕，成为观看视频的首选设备。原因之一：VR会让用户感到恶心。可能会导致恶心和眼睛疲劳，因为VR会产生3D观看的错觉，尽管用户实际上是盯着固定距离的2D显示器。更好的3D可视化解决方案可能在于为数字世界重新打造的60年前技术：全息图。

全息图提供了我们周围3D世界的特殊表现。另外，它们很漂亮。(继续-查看您的Visa卡上的全息鸽子。)全息图根据观看者的位置提供变换视角，并且它们允许眼睛调整焦深以交替聚焦于前景和背景。

长期以来，研究人员一直试图制作计算机生成的全息图，但该过程传统上需要一台超级计算机来进行物理模拟，这既耗时又可能产生不那么逼真的结果。研究人员说，现在，麻省理工学院的研究人员已经开发出一种几乎可以立即生成全息图的新方法——这种基于深度学习的方法非常高效，眨眼间就可以在笔记本电脑上运行。

“人们以前认为，使用现有的消费级硬件，不可能进行实时3D全息计算，”该研究的主要作者、麻省理工学院电气工程与计算机科学系(EECS)博士生梁石说。“人们常说，商用全息显示器将在10年内问世，但这种说法已经存在了几十年。”

Shi相信，这种被团队称为“张量全息术”的新方法最终将使这个难以捉摸的10年目标触手可及。这一进步可能会推动全息技术扩散到VR和3D打印等领域。

Shi与他的顾问和合著者WojciechMatusik共同完成了这项发表在《自然》杂志上的研究。其他合著者包括EECS和麻省理工学院计算机科学与人工智能实验室的李北辰，以及前麻省理工学院研究人员ChangilKim(现供职Facebook)和PetrKellnhofer(现供职于斯坦福大学)。

追求更好的3D

典型的基于镜头的照片会对每个光波的亮度进行编码——照片可以忠实地再现场景的颜色，但最终会产生平面图像。

相比之下，全息图对每个光波的亮度和相位进行编码。这种组合可以更真实地描述场景的视差和深度。因此，虽然莫奈的“睡莲”照片可以突出画作的色觉，但全息图可以使作品栩栩如生，呈现每个笔触的独特3D纹理。但是，尽管它们很现实，但全息图的制作和分享仍然是一个挑战。

最早于1900年代中期开发的早期全息图是以光学方式记录的。这需要分裂激光束，其中一半用于照亮对象，另一半用作光波相位的参考。这个参考产生了全息图独特的深度感。生成的图像是静态的，因此无法捕捉运动。而且它们只是硬拷贝，因此难以复制和共享。

计算机生成的全息通过模拟光学设置来回避这些挑战。但这个过程可能是一个计算过程。“因为场景中的每个点都有不同的深度，所以不能对所有点应用相同的操作，”施说。“这显着增加了复杂性。”指挥集群超级计算机运行这些基于物理的模拟可能需要几秒钟或几分钟才能获得单个全息图像。此外，现有算法不能以逼真的精度对遮挡进行建模。所以施的团队采取了不同的方法：让计算机自学物理。

他们使用深度学习来加速计算机生成的全息图，从而实现实时全息图生成。该团队设计了一个卷积神经网络——一种使用一系列可训练张量来粗略模拟人类如何处理视觉信息的处理技术。训练神经网络通常需要一个大型、高质量的数据集，而3D全息图以前不存在这种数据集。

该团队建立了一个包含4,000对计算机生成图像的自定义数据库。每对匹配一张图片——包括每个像素的颜色和深度信息——与其对应的全息图。为了在新数据库中创建全息图，研究人员使用了形状和颜色复杂多变的场景，像素深度从背景到前景均匀分布，并使用一组新的基于物理的计算来处理遮挡。这种方法产生了逼真的训练数据。接下来，算法开始工作。

通过从每个图像对中学习，张量网络调整了自己计算的参数，连续增强了其创建全息图的能力。完全优化的网络运行速度比基于物理的计算快几个数量级。这种效率让团队自己感到惊讶。

“我们对它的表现感到惊讶，”Matusik说。在短短几毫秒内，张量全息术可以根据具有深度信息的图像制作全息图——这些信息由典型的计算机生成图像提供，并且可以通过多摄像头设置或激光雷达传感器(两者都是一些新智能手机的标准配置)进行计算。这一进步为实时3D全息技术铺平了道路。更重要的是，紧凑型张量网络需要不到1MB的内存。“考虑到最新款手机上有数十和数百GB的可用空间，这可以忽略不计，”他说。

这项研究“表明真正的3D全息显示器是实用的，只需要适度的计算要求，”微软首席光学架构师乔尔科林说，他没有参与这项研究。他补充说，“与之前的工作相比，这篇论文的图像质量有了显着的提高”，这将“为观看者增添真实感和舒适感”。Kollin还暗示了像这样的全息显示器甚至可以根据观众的眼科处方进行定制的可能性。“全息显示器可以校正眼睛的像差。这使得显示图像比用户使用隐形眼镜或眼镜看到的更清晰，这只能校正低阶像差，如聚焦和散光。”

“相当大的飞跃”

实时3D全息将增强从VR到3D打印的一系列系统。该团队表示，新系统可以帮助VR观众沉浸在更逼真的风景中，同时消除长期使用VR带来的眼睛疲劳和其他副作用。该技术可以轻松部署在调制光波相位的显示器上。目前，大多数经济实惠的消费级显示器仅调节亮度，但如果广泛采用相位调制显示器的成本会下降。

研究人员说，3D全息还可以促进体积3D打印的发展。事实证明，这项技术比传统的逐层3D打印更快、更精确，因为立体3D打印允许同时投影整个3D图案。其他应用包括显微镜、医疗数据可视化以及具有独特光学特性的表面设计。

“这是一个相当大的飞跃，可以彻底改变人们对全息的态度，”Matusik说。“我们觉得神经网络就是为这项任务而生的。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！