《我们内心的宇宙》是如何用声音来增强沉浸式叙事的？

VR 和沉浸式技术能将人们置于故事的场景中，而空间或 3D 音频所提供的感官信息和带来的感觉对于使人沉浸在虚拟现实环境中至关重要，“实时电影”《我们内心的宇宙》（Cosmos Within Us）因在这方面开创性的探索而广受好评。该片结合了现场表演，探索了记忆和迷失的本质。导演图帕克·马蒂尔（Tupac Martir）将其描述为“75%的声音”，并说不必看视觉图像仅凭听到的声音即能体验故事。

《我们内心的宇宙》是如何用声音来增强沉浸式叙事的？凯文·希尔顿(Kevin Hilton)采访了导演图帕克·马蒂尔、音效设计师加雷斯·卢埃林(Gareth Llewellen)和乔恩·奥利弗(Jon Olive)，了解到了其中的奥秘。

《我们内心的宇宙》首次亮相是在 8 月的威尼斯电影节上，随后于 9 月在伦敦的飞雨电影节（该电影节已经成为一个主要的展示沉浸式故事的舞台）上亮相，并获得了最高奖项“飞雨精神”奖。上个月，这部 360 度的体验在阿姆斯特丹的 Eye Filmmuseum 上演，在那里，它的展出规模比以前更大。

该片在一个有演员和音乐家表演的现场环境中放映，从患有阿尔茨海默症的 60 岁老人艾肯的角度，讲述了一个关于我们内心宇宙的故事。首次演出只有 4 名观众参与，后来在阿姆斯特丹的舞台上人数增加到 100 多人。观众可以在大屏幕上看到戴着 VR 头戴设备的“互动演员”所体验到的视觉效果。

声音的不同元素通过扬声器系统和双耳耳机传入，形成一个沉浸式的整体。《我们内心的宇宙》由 Satore 工作室（图帕克·马蒂尔是该工作室的创始人和技术开发者）与纪录片和 VR 制作公司 a_BAHN 合作制作。

“我们对 VR 和 AR 的兴趣是让其成为一种表演艺术，”马蒂尔说。“从一开始，我们就希望《宇宙》有尽可能多的现场表现，作为一种扩展体验的方式。”

马蒂尔说声音占了很大的比例，分为两个方面：观众和演员通过敞开的耳机听到画外音和诸多声音效果，而“环境层”，包括音乐和其他声音，通过环绕立体声系统在礼堂播放。“有些声音可以从环境层开始，比如左侧，然后移动到左侧耳机，”马蒂尔解释道。“例如，开场有大约 24 种不同的声音，但直到人们接近他们应该发生的地方，他们才被触发。”

VR 体验的音效设计是由专业音频沉浸式系统 Magic Beans 的加雷思·卢埃林和乔恩·奥利弗制作的。联合创始人兼首席执行官卢埃林的职业生涯始于电影音效后期制作，之后他加入了比利时的 Galaxy 工作室，在那里他参与了 Auro-3D 空间音效格式的制作。奥利弗是公司联合创始人兼首席技术官，他最初从事古典音乐录制，后来进入电影行业，从事销售和产品开发。

Satore 和 Magic Beans 已经合作了大约两年半的时间。奥利弗把《我们内心的宇宙》描述为“收到的最好的魔豆”之一，是为了制作“听起来很酷的东西”，但也是很棒的音频。加雷斯·卢埃林补充道：“它的意义远不止于电影和营造一个现实的空间。”

这种体验的音效是基于 3D 扬声器阵列（通常为 11.1）和观众戴的双耳耳机的组合。卢埃林解释说，通过这种方式，就有可能创造一个整体的声音环境，同时让人们处在一个“声音泡泡”中。飞雨展出的系统包括 12 台 Genelec 8010A studio 监视器和 7050B subs。在 Eye Filmmuseum 的展出依赖于场馆的内部设备，未在在扬声器配置中使用高度元件。“我们必须将环绕声的混音降低到 7.1。”卢埃林说，“我们略微错失了高度，但它对整个观众仍然都很有效。”

观众们戴着 Sennheiser 双耳耳机，卢埃林说，这在成本和质量之间提供了恰当的平衡。“我们希望确保我们不会损失任何东西，尤其是在低端市场。”他表示，“我们也希望人们能听到房间里其他人的声音，包括他们旁边的人。这样做的目的是让观众感觉他们和角色在同一个房间里，听到外面的雷声和大雨声。”

耳机信息由 Sennheiser 的 G3 无线发射器提供，并“广播”给 100 多个 G3 接收器。奥利弗说：“我们的确探索了给观众提供耳机声效的最佳方式，并意识到，把所有东西都连上电缆，尤其是在可用的时间内，是行不通的。”

扬声器阵列和耳机的整体声音的产生涉及到诸多方面。用于生成 VR 视觉效果的虚幻引擎将触发信号发送给音乐家，他们在现场演奏，但也预先录制了演奏，并在 Ableton 工作站上具有点击音轨。卢埃林和奥利弗设计了他们自己的音频引擎，与运行自定义工具的 Unity 3D 声音系统一起工作，两个组件通过 OSC（开放声音控制）协议进行通信。

所有的音频输出都被发送到 Avid Pro Tools 系统，该系统用于混合和分发各种声音到扬声器或耳机中。监听混音和通讯由休·菲尔丁（Hugh Fielding）通过启用 Dante 的 Yamaha 控制台进行混音。整个音频设置都通过 Dante 网络运行，奥利弗解释说，这避免了大量的布线。

图帕克·马蒂尔对声音在他的叙事中所扮演的角色充满热情。“我们几乎可以从中制作播客，但仍然会感到惶惑，因为您不必看视觉图像就可以了解正在发生的事情。您只需要听到声音以及音乐和声音效果。”

【数字叙事 原文：Kevin Hilton；编译：葡萄浆果】