做xR/VP虚拟制片这几年,我越来越确认一件事:技术上最值钱的部分,从来不是那块LED屏有多大,而是整套系统能不能让一台表演在屏幕里真正“立”起来。最近hecoos与中国舞蹈家协会合作的《为正义起舞》专题展播上线,就是一个很有代表性的样本。表面看是一批主旋律舞蹈作品从剧场搬到了线上,实际上背后跑通了一整条xR/VP虚拟拍摄链路——LED屏搭景、实时渲染虚拟空间、摄像机追踪带动透视变化、hecoos负责预演播控与现场合成,四者咬合在一起,让舞蹈这种极度依赖“现场感”的艺术,变成了可以精确控制、反复观看、多终端触达的影像作品。
这篇文章我想站在技术侧人员的角度,把这套系统到底由什么组成、舞蹈类虚拟制片项目有哪些特殊难点、现场执行会踩哪些坑,拆开来讲一讲。如果你正准备用xR/VP去做演出内容、演播室方案,或者你所在的舞蹈、戏剧团队想试虚拟制片,这篇文章应该能帮你少走不少弯路。
1. 项目解读:这不是一次简单的“屏幕替换”
1.1 展播背后的技术骨架
传统舞蹈展播的做节目录,通常只有两条路:一是在剧场装好几个机位,把舞台演出录下来,后期靠导播切镜头;二是在演播室里搭绿幕,让舞者在绿幕前跳,后期再一点点抠像、合成背景。这两种方式都有明显痛点。舞台实拍受限于固定布景和灯光,能拍的镜头角度有限,而且切来切去观众看到的始终是“舞台框子”;绿幕方案倒是能在画面里随意造景,但麻烦在于舞者对着空气跳,没有空间参照,方位、距离、高低全靠经验去“演”,镜头一运动起来后期合成对位也容易显得“飘”。
《为正义起舞》这次走的则是第三条路:xR/VP。舞者站在LED屏搭建的虚拟空间里,屏幕上是实时渲染出来的雪山、原野、星火、街巷等场景;摄像机在拍摄舞者的同时,位置和角度会被追踪系统实时传入渲染引擎,引擎跟着真实机位重新绘制虚拟场景。换句话说,镜头推拉摇移的时候,虚拟背景的透视关系也在同步变化,前景人物和背景景物像是生活在同一个三维空间里。再加上hecoos这类播控与合成软件在中间负责多路信号同步和现场合成输出,编导在监视器上看到的就是接近最终成片效果的综合画面。
所以这次展播真正值得关注的不只是“舞蹈好看”,而是它把一套完整的虚拟制片工业流程,第一次大规模地用在了舞蹈艺术内容的量产上。
1.2 为什么舞蹈艺术恰恰需要“虚拟空间”
舞蹈是典型的时空艺术,动作、调度、情绪都在特定的空间关系中展开。实景舞台的问题在于空间是固定的,换景往往需要十几分钟甚至以“场”为单位,但舞蹈作品的情感推进往往连贯而紧凑,容不得这样打断。绿幕付出的则是另一种代价:没有视觉参照,舞者的身体感受和观众最终看到的画面位置,经常出现偏差。
xR/VP提供的是“看不见的替代方案”:虚拟空间可以被任意切换、任意重塑,同时舞者又能在开拍时实实在在看到自己身处的环境。这点在舞蹈项目里比在普通主持类节目里重要得多。一段群舞如果设计在雨后的石板街巷,地屏上会出现水光倒影,舞者低头就看到脚下有光影流动,她的步伐节奏、重心控制会下意识地跟环境建立关系;一段独舞如果设定在山巅星空下,舞者抬头望向天幕上的星野,那个凝视的方向带来的身体姿态,是绿幕前“凭空表演”很难自然演出来的。
《为正义起舞》里的不少作品都带有强烈的意象化特征,红梅、雪原、战旗、星河这些视觉元素恰好需要通过虚拟空间来构建。把这些意象做成实时渲染场景放进LED屏里,再配合舞者的调度和镜头运动,整台节目的视觉密度和情绪张力,确实比传统舞台录像高出一截。这也是我在这行做了这些年,越来越看好xR/VP进入艺术院团的原因:它不是来替代舞台的,而是把舞台延伸到了一个没有物理边界的地方。
2. 核心技术拆解:xR/VP链路里hecoos的位置
2.1 xR/VP的原理和必需组件
很多朋友第一次接触xR/VP,容易把注意力放在LED屏上,觉得那就是一块“会变背景的大电视”。实际上,整套系统的技术核心至少由三部分咬合组成。
第一是实时渲染引擎。虚拟场景不是播一段视频,而是由Unreal Engine、Notch这类实时引擎根据当前摄像机视角,逐帧重新计算出来的三维画面。引擎里放着场景模型、灯光、粒子效果、实时的物理模拟,它输出的画面才能真正响应摄像机运动。
第二是摄像机追踪系统。现场摄影机云台、摇臂、轨道上会安装追踪设备(常见的光学追踪如OptiTrack,或基于机械编码器的云台追踪方案),实时测量摄像机的空间位置、朝向和镜头焦段。这些数据以毫秒级频率传给渲染引擎,引擎才能知道“现在摄像机在哪、在看哪”。
第三是显示与同步链路。LED屏负责显示虚拟背景,但如果渲染画面输出的节奏和摄像机拍摄节奏不统一,画面会出现撕裂、抖动、扫描线。所以整个链路里所有设备通常都要锁在同一个Genlock同步信号下,hecoos这类播控软件则负责把各路素材、渲染信号、摄影机信号按同一套时间码组织起来。
可以用一句话理解xR的原理:假设你站在一扇窗户前看风景,窗户移动了,窗外的世界必须跟着你的视角变化而变化,否则你看到的就不是真实风景,而是一张贴在玻璃上的画。xR就是把“窗户移动”这件事换成摄像机运动,把“窗外世界”换成实时渲染引擎算出来的三维场景。摄像机推近,虚拟场景里的透视也推近;摄像机摇走,场景从侧面显示出纵深关系,这样前后景就“咬”在一起了。
2.2 hecoos的核心角色:预演、播控与合成
在《为正义起舞》这类项目里,hecoos的身份可以理解成“虚拟制片现场的中枢调度台”。它管的事情大致有三块。
第一块是预演。hecoos的预演功能可以在电脑里先把舞台、布景、灯光、视频素材、机械装置全部搭好,让导演和编导在进棚之前就看到一个三维化的现场雏形。舞蹈调度、镜头走位、场景切换节点都能在这个预演环境里先跑一遍。我见过太多项目死在“到了现场才发现调度根本接不上”这种问题上,而预演的价值就是把这些错误提前留在电脑里,而不是留在拍摄现场。
第二块是播控。现场可能有多个信号源:虚拟背景渲染画面、前期准备好的动态素材、摄像机实时信号、音频轨道。hecoos把这些信号按时间线和图层组织起来,做同步输出。多块LED屏之间的信号拼接、边缘融合、色彩统一,也是在这一层完成的。对于舞蹈类项目,音乐和画面的同步尤其敏感,必须做到帧级对齐,播控系统如果在这里出问题,舞者踩不上点,节奏全乱。
第三块是合成输出。在xR工作流中,摄像机信号进入系统后要叠加虚拟背景、前景图层、字幕包装等内容,再统一输出给导演监视器、切换台和录制端。hecoos在链路里相当于承担了这台“合成矩阵”的职责,把所有画面压在同一条时间轴里。
选hecoos做这类项目还有一个很实际的理由:本地化支持好,和国内团队常用的LED屏、切换台等硬件兼容问题少;而且它的预演、播控、同步链路是一体的,减少了跨软件之间交接产生的格式和色彩损耗。对于《为正义起舞》这种多作品、多场景、节奏紧凑的展播项目来说,稳定和快速响应比什么都重要。
3. 舞蹈类xR项目怎么落地:从编排到拍摄的实操流程
3.1 前期:舞蹈动线与虚拟场景的“合练”
舞蹈类xR项目的前期,和常规影视虚拟制片有一个明显区别:导演不能只在分镜脚本里想镜头,必须先看舞蹈动线。舞台上的调度、队形的变化、舞者的朝向,决定了虚拟场景的门框该在哪个位置、地屏的引导线该怎么设计、镜头机位可以放在哪里。
我们做这类项目,流程通常是这样的:
- 编导先给一段舞蹈小样视频,或者是详细的动作调度图。
- 技术团队把舞蹈调度转成三维替身动画,在预演软件里把舞者的位置路径跑一遍。
- 导演、摄影指导、视觉设计师一起在预演画面里定镜头设计,比如低机位跟拍、环绕运动、从舞者脚底拉起到全景等。
- 确认镜头调度之后,再根据这些调度设计虚拟场景的层数和纵深。虚拟美术不是从网上找一张好看的图就行的,它必须给后面那些镜头留出“可拍的角度”。
这个过程我特别强调一点:一定要让编导参与预演。编导是对身体和空间最敏感的人,他们往往能在预演画面里一眼看出“这个背景的透视会让观众以为舞台变大了,但我的队形走位其实需要更多空间错觉”。这些讨论必须在技术开发之前完成,否则等虚拟资产做到一半再改,成本翻倍。
3.2 中期:进棚拍摄的几件大事
进棚后的第一天,我们从来不是先开机,而是先做“对齐”。追踪系统标定原点,摄像机镜头焦段和畸变参数录入,摇臂云台的零位校准,LED屏每块箱体的亮度统一。这些事情听着琐碎,但任何一项不做,后面的画面都会出问题。
接下来是地面处理。舞蹈项目用LED地屏拍摄时,有两个绕不开的麻烦:一是滑,LED屏表面是光滑的,舞者的软鞋或光脚踩上去很容易打滑,尤其旋转类动作特别危险;二是拼缝,LED屏的箱体之间存在细微缝隙,近距离低机位拍摄时可能会穿帮。我们的处理方式一般是在关键表演区铺设透明防滑涂层,或者在舞者主要落脚区域盖上定制的舞用防滑地胶。地胶会带来一定反光,需要在灯光阶段再做调整,这个平衡过程是靠现场一点点试出来的。
灯光配合也是重点难点。虚拟场景里会有光源,比如模拟月光、烛火、朝霞,这些虚拟光源的方位、强度、色彩,要和现场真实打在舞者身上的灯光方向保持一致。不然就会出现很诡异的效果:舞者脸上是暖光,背景里的太阳却从另一侧照过来。我们会先把虚拟场景里的光源位置标出来,再在现场用真实灯位去对,两边同步调。
舞者体验方面,我有几个很深的体会。一是脚下画面不能太花。地屏如果播放高对比度、高频率变化的画面,舞者低头做动作时会严重分心,甚至眩晕。设计上要尊重“表演区优先”——舞者站的地方画面要保持低饱和、低细节,把视觉亮点放在立屏上方和纵深区域。二是屏幕发热和噪声。LED屏长时间高亮运行会产生热量和风扇噪音,舞蹈项目需要安静或者收现场音的时候,要在方案阶段就预留降温措施和收音位置。
3.3 实时合成与素材管理
现场拍摄时,导演监视器上显示的是经过hecoos合成输出的最终画面,舞者、虚拟背景、前景包装全部叠加好了。这样做的好处是决策成本极低,一个镜头拍完,编导当场就能判断这个空间关系对不对、情绪够不够。
录制方面,我们通常会同时录几路信号:原始摄像机信号做保底素材,合成信号做交付素材,虚拟背景单独录制作为素材库。为什么留原始信号?因为哪怕xR链路做得再完善,现场也总有一些来不及处理的细节,比如某个镜头里虚拟背景的运动模糊不够自然、头发丝边缘处理有瑕疵。留一份原始信号,后期就有重做的余地。但现场决策一定要以合成画面为准,否则等后期再修理,返工成本非常高。
色彩管理是合成阶段最容易忽略的地方。LED屏的亮度、色温、伽马设置,渲染引擎输出的色彩空间,摄像机端的LUT,三者必须统一到同一条标准上。我们一般在项目开始时会拍色卡、打白平衡基准,让LED屏的显示效果和最终摄影机记录的画面保持一致。这一步做好了,后续所有机位和场景的画面都是稳的。
4. 关键参数与舞蹈拍摄的避坑经验
4.1 几组最容易出问题的技术参数
第一组是LED屏的像素间距。拍摄距离越近,屏的点距就要越小,否则画面里会出现明显的“纱窗效应”。行业里做xR虚拟拍摄,主屏常用的点距在P1.9到P3.9之间。如果机位经常要拍近景、微距,我们会优先选P1.9以下;如果拍摄距离普遍在5米开外,P2.6到P3.9也能接受。这个选择直接关系预算,所以一定要根据分镜里的实际拍摄距离来定,不能一刀切。
第二组是快门角度与LED刷新率。LED屏用相机拍摄时容易出扫横线、频闪。常规做法是把快门角度控制在180度附近(部分系统用172.8度这种和50/60Hz相关的角度),搭配高刷新率LED屏(通常至少3840Hz),基本能消除扫描线。快门角度如果开到270度来追求动态模糊,LED屏下出现横纹的风险会显著增加,这个取舍要在测试阶段就定下来。
第三组是追踪延迟。光学追踪系统加上渲染引擎的处理,端到端延迟希望控制在两帧以内,理想状态是50ms上下。延迟太高的直接表现是摄像机一动,虚拟背景跟着“拖”,舞者的边缘看起来像被背景拽着走。这个延迟受好多因素影响:追踪系统采样率、数据传输通道、渲染帧率、播控链路。我们是会在项目调试时专门用一个摆头测试检查延迟,基本每套系统到场都要跑一遍。
4.2 舞蹈项目最容易翻车的三个点
第一个是高速旋转与甩头动作。舞蹈里大量存在快速旋转、甩头、翻腾这类动作,虚拟背景如果有密集的高频纹理(比如树叶、栅栏、格子墙),在舞者快速运动的画面里特别容易出现闪烁和视觉噪点。我们后来学到的做法是,在舞蹈段落里适当降低虚拟场景纹理的对比度,或者给相机增加一点运动模糊,让画面过渡更自然。
第二个是地面视觉干扰。前面提到过脚下画面不能太花,这里想补一细节:舞者做旋转定点时,眼睛是在找固定视觉参考点来稳定重心的,如果地屏上的画面一直在动,这会直接影响她的转圈质量。在舞蹈项目的虚拟场景设计里,最好在舞者活动的主要区域放低饱和的背景色或静止纹理,把动效集中在观众视角更关注的中远景区域。
第三个是“舞者的鞋”这个问题,真的会让人预算重做一遍。我们有一次做了个地屏拍摄项目,编导要求舞者光脚表演。LED屏面温度、摩擦系数都和预期完全不同,排练第一段跳完,演员的脚底就不舒服,后面根本没法完整跳。后来在表演区铺了专门的光脚舞蹈地胶,又重新调整了灯光避开地胶反光角度,才把问题解决。舞蹈项目的技术方案必须从“脚感”开始考虑,这可能是虚拟制片领域里舞美、摄影之外最容易被忽略的工程问题。
4.3 现场常见问题速查
这里整理一份我们在舞蹈类xR/VP项目现场经常会遇见的排查表,按“现象-原因-处理”三个维度列出来,方便你在现场快速对照。
| 现象 | 可能原因 | 快速处理方案 |
|---|---|---|
| 画面出现横向滚动暗带 | LED屏刷新率与快门不匹配 | 调整快门角度至180度附近,或提高屏体刷新率 |
| 舞者身体边缘有紫边、闪烁 | 前景与背景对位偏移,追踪存在漂移 | 重新标定追踪原点,检查反光点遮挡,提高追踪滤波 |
| 监视器里背景偏青或偏红 | LED屏色温设置与摄影机白平衡不一致 | 统一用色卡校准屏体色温,检查渲染输出色彩空间 |
| 摄像机一运动背景就抖动 | 追踪信号噪声过大或渲染帧率不足 | 检查追踪设备固定是否松动,降低追踪滤波灵敏度,锁帧率输出 |
| 舞者面部过曝、衣服发灰 | LED屏亮度过高,环境光整体溢出 | 降低LED屏亮度(一般控制在最大亮度60%-80%区间),增加面光补偿 |
| 背景画面与音乐节奏不齐 | 播控时间码未统一,音频和视频链路存在延迟 | 全链路锁定同一SMPTE时间码,检查音频接口缓冲设置 |
| 近距离拍摄时明显看到屏体像素点 | LED屏点距过大,拍摄距离过近 | 换小点距屏,或调整镜头焦段、拉远拍摄距离,后期补近景细节 |
5. 这类项目带来的行业影响:虚拟制片正在进入艺术院团
5.1 舞蹈展播的形态正在被改变
《为正义起舞》这类项目上线之后,行业里讨论最多的往往不是画面本身,而是背后反映出的内容生产方式变化。
过去舞蹈团做线上展播,能做的就是舞台录像或者进棚简单录制,作品的生命周期往往止于演出季。而xR/VP做出来的内容,本质上是数字化资产——虚拟场景可以被任意修改、复用、适配不同终端;同一段舞蹈,换一套环境,表达的主题就能发生变化。这对于舞蹈这种排练成本极高的艺术形式来说,是一个非常实在的资产沉淀。
尤其主旋律舞蹈作品,普遍需要呈现宏大、凝练的意象。过去要在实景里拍出“雪山连绵”“星火遍野”“历史长河”这些画面,要么搭景,成本极高;要么绿幕后期,舞蹈演员表演时看不到环境。现在xR/VP把意象做成了可实时渲染的三维场景,舞者在里面跳,导演在现场看,艺术表达的确定性大大提高。这种“数字场景+真人表演”的模式,对院团和艺术院校来说意味着作品可以实现数字化积累和长期存档,对未来巡演、教学、传播都有直接帮助。
5.2 艺术团队需要建立新的工作语言
技术进来之后,最大的挑战其实不在设备,而在人的配合。编导要学会用“镜头视角”去思考调度,之前舞台上“观众在固定方向看”的思维要转换成“镜头可以去到任何地方”;摄影指导要理解舞蹈动作的呼吸感,知道哪个动作的峰值状态需要被镜头捕捉;技术团队也要懂一些舞蹈编排的基本逻辑,才不会在场景切换时打断演员的情绪节奏。
我们实操下来最有效的方法,是每次项目都排一天“技术连排”。这一天不追求拍出成片,只做一件事:让编导、舞蹈演员、摄影、追踪、播控、灯光全部在虚拟场景里完整走一遍调度。演员可以对场景中的视觉参照点提出修改意见——“这里的光太强,我下腰的时候不敢看”“这个背景到我伸手的位置太近,动作撑不开”。这些问题只有演员到了场景里才会暴露,遗留到正式拍摄就要花几十倍的时间去补救。
艺术院团要建立虚拟制片能力,不是买一块屏回来就能搞定的事。它需要一套组织习惯:谁来定义视觉概念,谁来对接技术参数,谁来现场快速做决定。但一旦这套语言建立起来,后面每个项目的磨合成本都会越来越低。
6. 想上手xR/VP,给你几条最实在的建议
6.1 最小可用的起步方案
如果你所在的团队想做xR/VP,但预算和排期还不允许一步到位,我的建议是先租棚、后自建。
最低限度的一套起步链路可以这么配:一块3到4米高、6米宽左右的LED立屏(点距控制在P2.6以内),一套摄像机追踪系统(预算有限时可以先从机械式云台追踪开始,效果稳定且不需要贴反光点),一台能跑动Unreal Engine的渲染工作站,加上hecoos这样的预演播控软件。用这套配置先做小体量的舞蹈片段、主持类节目、企业发布会等,跑熟整个协作流程,再考虑扩大屏体、增加机位、加地屏。
软件层面有个很关键的认知:渲染引擎不是越复杂越好。对大多数舞蹈艺术类内容来说,虚拟场景承担的更多是氛围和空间感的营造,而不是堆特效。把UE的灯光、材质、远景做好,比叠加一堆粒子系统更贴近项目实际需求。
6.2 现场反复强调的三件事
第一,技术联排必须当成正式演出对待。哪怕只是走位测试,也要求演员、摄影、追踪、播控、灯光全员到场,缺一个人联排的结果就不算数。xR/VP出问题有一个共同规律:问题往往藏在不同设备交界的缝隙里,而交界的缝隙只有全员到齐时才会发生。
第二,所有输出链路都要有备路。hecoos播控主机要支持一键热备份,切换台和录制端也要准备好备用输入。我们见过太多因为单链路故障导致整场重录的案例,舞蹈演员再跳一遍体力消耗巨大,这个风险不值得冒。
第三,虚拟场景资产千万别“拍完就删”。xR/VP最大的隐性价值就是资产复用。一个雪山场景这次展播用了,下次可能有别的节目要用;一段城市场景这次群舞用了,换个色调用在开场上也成立。把预演文件、渲染工程、播控时间线按项目归档好,长期看省下的时间和钱非常可观。
最后再分享一个我自己的感受。刚做xR舞蹈项目时,我总以为最难的会是渲染精度、追踪延迟这些技术指标,真正开拍了才发现,一台舞蹈节目能不能在虚拟空间里立住,往往取决于那些特别“不技术”的细节:舞者踩在地屏上的一瞬间滑不滑、她一抬头看到的视觉参照点能不能给她安全感、场景切换的那一下有没有吃掉音乐的情绪。xR/VP说到底还是一门把空间体验做真的手艺,技术越复杂,越要回到人对空间最直接的感受上去校验。这个思路,贯穿了《为正义起舞》这类项目的整个过程,也是我建议每个准备进入这个领域的人,最先建立起来的工作习惯。