詹姆斯·卡梅隆(James Cameron)的3D电影“阿凡达(Avatar)”在2009年首次上映时试图革新电影观看体验，为观众营造了一个身临其境的世界。但是，如果您还想直接在电影院座位上乘坐女妖飞行时感受到热和风，该怎么办?

虽然已经存在少量添加物理元素的所谓“ 4-D” 电影，但多伦多大学的研究人员正在研究一种更广泛地应用该功能的方法。

“通常，椅子会摇晃，观看电影时可能会溅起水花或进行其他形式的互动，”新兴电子与计算机工程学系Edward Edward S.Roger四年级本科生Yuyu Zhou说道。娱乐。“目前，所有这些效果都是在制作的第一阶段就创建的。对于那些并非最初为4D电影院创建的电影，我们希望实现这种过程的自动化。”

周正与美国密苏里州大学计算机科学系博士后研究员Makarand Tapaswi和密西沙加大学数学与计算科学系以及三校区计算机科学研究生系的助理教授Sanja Fidler合作。他们最近完成了他们的作品《现在摇了我：走向自动4-D电影》，该电影在犹他州盐湖城的计算机视觉和模式识别(CVPR)会议上成为焦点。

周说，通常是从第一人称视角或照相机来感知4D电影。如果“加勒比海盗”中的威尔·特纳(Will Turner)感觉到风在吹拂，而看电影的人想体验成为特纳的经历，那么他们也必须在自己的脸上经历风。

“我们希望拥有一种功能，您只需轻按一下开关即可体验角色的感受，” Zhou说。

为了将常规或3-D电影转换为4-D，研究人员使用了一个自由网站为其4-D预测模型注释了电影的效果。

“例如，在《指环王》中，弗罗多将山姆从水中拉了出来，但同时发生了几种影响。”周小刚开始在菲德勒学习的三年级期间就开始工作。 。“首先，他拉扯他-用手进行物理交互。当Sam回到水中时，他拉扯Frodo，船摇了晃。

Tapaswi补充说：“相机就是您的输入。” “但是在这种情况下，您不仅要体验相机看到的东西，而且要体验其中的一个角色-重温角色感觉到的晃动等等。”

尽管4-D技术仍不在物理交互作用(即手拉)的范围内，但Tapaswi设想随着技术的发展，压力传感器可以模拟触摸。该模型可能在其他领域(如虚拟现实或增强现实)中很有用。

“我们正在收集这些类型的注释以供将来研究，” Zhou说。

对于他们的数据集，他们同时应用了效果分类和检测。对于效果分类，Zhou说他们的神经网络是一种机器学习功能，可以对数据进行深度分析和学习，并从短片段中提取特征，包括运动和音频。他说，为了进行检测，神经网络可以预测长视频剪辑中的影响以及发生的位置。

“您不仅要知道特定镜头中的角色会发生什么。您想说，'[ 效果 ]现在是风，不仅是因为我现在看到风了，而且是因为以前可能是刮风的，”“塔帕斯威说。

研究人员发现，某些类型的电影往往具有相似的效果-例如，在星际或重力等太空中拍摄的电影。Tapaswi说，这可以看作是一种新颖的集群方法。

“通常在观看3D电影时，电影观众戴着眼镜坐在椅子上，”周说。“使用自动4D电影院，神经网络将处理2D和3D电影信息，将其输入到椅子上，并模拟效果。”