开幕式《致敬人民》节目的AI实时视频特效，由北京电影学院声音学院师生团队制作。图/新京报记者 巫慧
算法捕捉几百人的舞台精准定位
在国家体育场（鸟巢），开幕式整个舞台是一张巨大的屏幕。“AI实时视频特效”实现的最终效果就作为节目的一部分实时呈现在舞台上。
马少典是团队成员之一。他从北京电影学院声音学院研究生毕业后留校工作。马少典告诉记者，“AI实时视频特效”是多种技术的综合运用。其中包括一些比较前沿的技术，例如人工智能模型训练、游戏引擎与图像合成技术；也依赖于各类成熟的综合技术，包括图像采集、网络通信等等。
首要难点在于，如何准确地追踪和捕捉场上几十人、几百人的实时位置及状态？记者了解到，这项技术此前从未大规模应用过，团队为这次开幕式专门做了大量实验研究及调整优化。
据悉，传统舞台的定位技术有很多，包括雷达扫描技术、电磁波定位技术，而在影视中常用的是在人身上贴传感器，捕捉人在空间中的位置。
而“AI实时视频特效”与之不同，这项技术的原理是通过图像进行识别，“通俗来讲，面向需要扫描的区域架一台摄像机，将它拍摄到的图像通过AI系统进行实时分析，判定人的坐标。”
这其中，需要用到AI模型训练。“其原理是，通过前期海量的图像采集、把视频资料提交给AI训练系统，让AI模型进行自我学习进化，进而形成与此次演出高度关联的识别模式，让系统更准确地识别。”马少典称。
而通常情况下，摄像机采集图像输入给系统算法、再将算法反馈出的效果输出至屏幕，是需要一个反应时间的。“因此，要实现屏幕美术效果和每一位演员的动作实时同步，让观众看起来效果是跟着人的，这是整个项目的一个技术难点。”
对此，该团队“多管齐下”解决延迟问题。一方面苛刻地选择设备，保证数据一环一环传递，尽量减少设备造成的延时；另一方面，根据鸟巢舞台特殊的场地条件对算法进行优化，补偿此前在实验室环境中未曾预料到的延时；此外，通过优化调整美术渲染生成的图案及其触发的方式，也会让最终呈现效果看起来恰如其分。
开幕式《雪花》节目的AI实时视频特效。数百个小朋友在舞台上跑动，脚下踩出的片片雪花跟着孩子们的脚步流动。视频/新京报记者 巫慧
区别传统舞美，AI技术赋予演员更大自由度
“通过AI技术只能得到相对精确的坐标，但这无法呈现给观众，观众可不愿意看几十万个坐标和代码。”马少典打趣道。
因此，最终的美术效果呈现也是“AI实时视频特效”中非常重要的部分。通过AI进行识别后，要靠算法按照事先设置的规则进行实时渲染，最后生成画面。
马少典告诉记者，这部分工作由多个美术团队共同配合完成。“不同美术团队根据导演设想，先为不同节目生产制作出传统形式的美术底图素材，我们将这些素材整合到实时平台中去，在此基础上加入与人相关的交互效果。”
这与传统舞台演出有着本质差别。“传统模式中，一般预先制作好一个视频，在屏幕上播放，让演员事先记住视频画面及播放进度，再配合练习好，包括哪里快、哪里慢、哪里转身，并在对应的时间点移动到对应位置。”
而在AI实时视频特效技术辅助下，演员得以在场地上自由发挥。“演员可以不按照预设路线运动，有了更大的表现空间和自由度。”这不但能够更好地实现导演的创意和设想，普通观众也能直观感受到这种表演方式的自由与灵动。“观众也能够感受到，这样的表演，仅靠刻苦排练，是难以完成的。”
马少典举例称，北京2008年奥运会开幕式中，很多恢宏整齐的表演，有明确的时间点和节奏，大家动作整齐划一或者有既定的规律。在北京2022年冬奥会开幕式中，导演希望在精确和规范之外，融入更多个性化的呈现。
“几百个孩子在舞台上随意跑动，要求每个小朋友都能对位置进行精准记忆是很难的，精准的同时又要让每个孩子自如发挥、自发表达，而不被牵着走，更难。”在马少典看来，当演员自由表演时，会有一种灵气和生动感，和传统表演是不一样的。
在多次彩排中，他也明显感受到，这项技术是“通用”的，不依赖于在人身上绑定传感器来实现，不论是大人、小孩，不论年龄、职业，包括误打误撞进入屏幕上的人，都能实现实时互动，“像一个人人可参与的游戏，非常有感染力和吸引力。”
