用人工智能动作捕捉翻译行为语言

您可能已经看到好莱坞明星穿着“动作捕捉”服，身着全身装扮，身上装有感应器，可以让计算机将它们变成绿巨人，巨龙或附魔的野兽。现在，普林斯顿大学教授Mala Murthy 和 Joshua Shaevitz的实验室之间的合作 又走了一步，它利用人工智能(AI)的最新进展来自动跟踪现有视频中动物的各个身体部位。

他们的新工具“ LEAP估计动物姿势(LEAP)”可以在几分钟内进行训练，从而可以在数百万个视频帧中自动高精度地跟踪动物的身体各个部位，而无需添加任何物理标记或标签。

“该方法可以被广泛使用，跨越动物模型系统，并且这将是测量动物的遗传突变的行为或以下的药物治疗是有用的，”穆尔蒂，副教授所述 分子生物学 和 普林斯顿神经科学研究所(PNI) 。

详细介绍新技术的 论文 将发表在2019年1月的《自然方法》(Nature Methods)杂志上，但是其 开放获取版本(于5月发布)已经导致该软件被许多其他实验室采用。

当研究人员结合LEAP在他们的实验室中开发等数量型工具，他们可以研究他们所谓的“行为语言”通过观察动物的肢体动作模式，所述Shaevitz，教授 物理 和 刘易斯西格莱尔研究所综合基因组。

“这是一种灵活的工具，原则上可以在任何视频数据上使用，”论文的第一作者，PNI研究生塔尔莫·佩雷拉(Talmo Pereira)说 。“它的工作方式是在几个视频中标记几个点，然后由神经网络完成其余的工作。我们提供了一个易于使用的界面，任何人都可以在没有任何编程知识的情况下将LEAP应用于自己的视频。”

当被问及是否LEAP工作以及对大型哺乳动物，因为它没有对 苍蝇 和 老鼠 是由最初始的科目，佩雷拉及时创建取自长颈鹿的运动标签的视频 直播饲料 从 姆帕拉研究中心 在肯尼亚，普林斯顿大学(Princeton)为其管理合伙人的实地研究站。

佩雷拉说：“我们从姆帕拉研究站拍摄了一只长颈鹿的视频……并在30个视频帧中标记了点，这花费了不到一个小时的时间，”佩雷拉说。“然后，LEAP能够在几秒钟内跟踪整个视频其余部分(大约500帧)的运动。”

以前开发可跟踪人类运动的AI工具的工作都依赖于大量的手动注释数据训练集。这样一来，该软件就可以在背景或光照条件截然不同的各种数据上稳定运行。

“在我们的案例中，我们优化了类似的方法来处理在实验室环境中收集的数据，在这种情况下各个记录的条件是一致的，” Murthy说。“我们构建了一个系统，该系统允许用户选择适合于用户收集的数据类型的神经网络，而不受其他研究人员或公司工作的约束。”

该项目源于Murthy实验室的一名高级论文学生2018届毕业生Diego Aldarondo与他的研究生导师Pereira的独特合作，该 导师由Murthy和Shaevitz共同指导。

“迭戈正在普林斯顿大学的一门计算机科学课程中探索深度神经网络对动物行为数据的注释，并且在与塔尔莫的实验室深夜聊天中，他意识到这些方法可以有效地应用于他们自己的数据：果蝇的视频在求爱仪式中互动。” Murthy说。“合作从那里开始，而一起工作真是令人难以置信的乐趣– Diego和Talmo展示了这些AI方法的有效性。”

英国皇家兽医学院结构与运动实验室高级讲师莫妮卡·戴利(Monica Daley)表示，这项工作在神经科学之外也具有巨大潜力，但他并未参与这项研究。

戴利说：“我的许多研究旨在了解动物如何在不同的地形和环境条件下有效地运动。” “该领域正在进行的最大挑战之一是从录像中提取有关动物运动的有意义的信息。我们要么手动处理视频，这需要许多小时的繁琐工作，要么专注于非常简单且有限的自动化分析。本文介绍的算法比以前更能自动化劳动密集型工作，这可能使我们能够研究更多种类的动物运动行为。”

一旦他们有了运动和行为的数据库，团队中的神经科学家就可以与它们背后的神经过程建立联系。Shaevitz说，这将使研究人员“不仅可以更好地了解大脑如何产生行为，而且还可以探索未来的诊断和疗法，这些诊断和疗法依靠计算机来解释某人的行为。”

哈佛研究人员小组在整个夏天共享了一种 类似的工具，他们使用了现有的神经网络架构，而普林斯顿大学的团队则创建了自己的工具。“我们的方法及其方法具有不同的优势，” Murthy说。“现在，这是一个令人兴奋的领域，在开发用于研究行为和神经活动的AI工具方面有很多活动。”

“我们采用了不同的方法，较小的精简网络可以通过快速专注于新数据集来实现高精度，” Pereira说。“更重要的是，我们证明了现在有通过AI进行动物姿势跟踪的易于使用的选项，我们希望这鼓励该领域开始采用更定量和精确的方法来测量行为。”

“在过去的五年中，神经科学在观察和操纵大脑活动的技术方面取得了长足进步，”分子生物学和PNI教授合著者Samuel Wang说 。现在，行为的自动分类为该技术增加了关键的补充。普林斯顿大学正在成为计算神经伦理学萌芽领域的中心枢纽。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！