通过舞台升级《镜城》展示AR偶像的“营业能力”
在幕后，虚拟偶像是一个高度依赖技术和团队合作的新兴产业。他们更容易管理,但更难的形状,和幕后团队不断创造表达场景与观众互动,包括很多努力找出如何实现最好的技术范围内的输出控制,以及如何向观众传递正确的信息。为此娱乐独角兽与《镜之城》AR舞台技术总监牛文佳、无限王集团管理团队进行了交流，探讨了跨维度舞台的想象和虚拟偶像背后的可操作性。《镜城》舞台上线后不久，微博#宋茜无限王集团话题的阅读量就超过2.3亿次。该音乐源在QQ音乐上发布后不久，就收到了超过5万条评论。音乐迷们在留言区呼叫他们最喜欢的偶像。是本合作阶段的效果呈现和生产技术实力的先锋价值。早期阶段使用动作捕捉来创建舞蹈动作和音乐的图像，而现场舞台使用跟踪设备和引擎来驱动这些图像。据导演牛文佳介绍，观众可以想象镜头上安装了一个跟踪装置，帮助虚拟偶像在现实舞台上定位。该系统跟踪所有的镜头运动，以准确匹配包括宋茜在内的五个虚拟偶像在真实舞台上的位置。同时，通过后台引擎的运行，与跟踪装置相连，包括驱动5位虚拟偶像模特的UE4引擎和实时合成ZD引擎，这是虚拟偶像阶段现阶段的顶级配置。
事实上，这个节目比这更有创意。首先，为了追求丰富的镜头调度和虚实融合的实景效果，团队使用了6位跟踪设备和引擎，保证了大全景、全景、中近镜头、近镜头和大运动镜头的实现。特别是五个虚拟偶像和宋茜的紧密队形变换、歌舞互动等场景，在前期经历了多轮的动态彩排设计和推演，现场拍摄团队按照时间码的同步方式准确呈现场景。其次，面对室内音乐会复杂的灯光变化和身临其境的大屏幕为了获得Steadicam 360度旋转镜头和大范围摇臂运动镜头稳定有效的跟踪数据，AR团队为这些特殊镜头设计了红外跟踪技术，确保镜头完美呈现。如此紧凑的时间和巨大的工作量无疑是对团队效率的挑战。首先，无限王集团的AR模型质量在国内是罕见的，按照国际标准属于头部动画资产，这对后期的技术操作提出了更高的要求。因此，团队在建模阶段花费了大量的时间和精力做出决策，包括“在当前技术条件下，我们如何获得尽可能多的纹理?”“是否需要牺牲模型质量以获得更方便的模型渲染效果”等等。最后，团队花了近三周的时间来决定坚持模型质量，并以全cg渲染形式迎接挑战。
其次，将移动捕捉数据转换为动画数据在操作层面是一个巨大的挑战。妞妞股票一组数据:在计算后的衣服,所有几何增长的数据,一套完整的数据已经达到超过10 T,后台之前呈现在50多个大型计算机业务实时操作,呈现过程以确保面部细节,衣服,和最优的质量,light material是一帧一帧的计算机渲染，超过500次，平均渲染时间达到每帧3.5小时。大量的工作只是为最终的质量阶段奠定了基础。此外,经纪团队五个虚拟偶像达到现实主义的追求,所以非常小心,舞蹈动作编排的人体运动演员们花了很多时间来实现和谐与美,身体动力效应,导致这些行动通过动态捕捉到数据,团队面临阈值。“旋转和跳跃动作非常快，我们在测试中发现，由于动作范围太广，一些角色的外套有脱落和定型的风险。最后，我们使用MD和MAYA在可控时间内解决问题。MD解决方案更高效，能更好地还原服装纹理，MAYA解决方案能磨损模具等将技术风险降到最低。同时，面对大而快的动作，团队放慢了帧率以避免离心力，使帧率翻倍或三倍。”
代理商团队表示，与直播相比，舞台上的点播视频在视觉上清晰地展现了高复原的模特质量。这样的挑战更像是一场豪赌。在不需要重复调整优化空间的前提下，选择有风险的“一步”。这种逼真的虚拟偶像模型，3分钟完整歌舞的动作复杂性，比市面上大多数AR舞台效果更好。
