XR+LED虚拟拍摄的技术原理

(资料图)

LED虚拟拍摄技术整合了实时数字影像、实时光影渲染、实时摄影机运动跟踪与实时运算等众多前沿电影科技。通过XR+LED，足不出户，亦可拍摄大片，能够显着降低影视制作的时间、经济成本。

01

什么是XR

XR（Extended Reality）扩展现实是一种描述虚拟和现实元素融合或交互行为的术语，通常认为是AR（增强现实）/VR（虚拟现实）/MR（混合现实）等多种技术的统称，是一种通过摄像机追踪与实时图像渲染技术，使显示介质（LED/投影碗幕）及显示介质外的虚拟场景实时跟踪摄像机视角，在摄像机镜头前与现实拍摄画面合成，从而营造出无限空间感的技术。

《潮音实验室》借助XR扩展技术，打造虚拟沉浸式演唱会

02

XR的原理基础

了解****是理解XR技术的重要前提。XR技术贯通虚拟与现实的桥梁，正是建立在****原理的基础之上。

日常生活中，把人物P在旅游景点前的合成照片，有的能以假乱真，有的却能一眼看出作假。让合成照看起来真实的条件之一就是合理处理人物与背景之间的空间关系，也即****关系，合成照片上的所有物体都必须在空间中拥有统一的****点。如果照片中的背景是采用俯视的角度拍摄的，那么需要合成的那个人，绝不能采用仰视下的形象。否则，看起来就会感觉图片画面不协调，有不真实的感觉。

照片中的所有物体都必须在空间中拥有统一的****点 否则图片就会产生不真实感

这是在二维平面上，混淆虚拟与现实的做法。

那么在三维空间中如何逼真的做到混淆虚拟与现实呢？

2021年，身在千里之外的香港艺人刘德华通过XR技术实现与央视春晚演员同台演出

如果要合成一段视频，演员身处室内，然而在镜头下其身后却是一整片森林，除了利用传统的绿幕+抠图方法，还有其他途径吗？

如果摄像机镜头固定且位置合适，甚至可以在演员身后直接挂一面巨幅的森林图案画布，只要演员和背景平面都在镜头下呈现出正确的****关系，就能满足一些最初级的需求。

但镜头一旦移动，背景森林实为平面画布的事实便无论如何也无法遮掩。

实际上，场景背景的真实感，正是在镜头移动的过程中得到塑造并增强的。在镜头推拉摇移的每一帧，如俯瞰时的大全景、跟拍时的中景——演员的身后都应当呈现出一个在这个位置、这个角度，满足真实****关系的背景场景。

如果当摄像机旋转或改变角度时，演员身后的背景也能契合摄像机镜头同步完成角度的改变就好了。

而这就是XR技术要解决的问题。

视频场景背景的真实感，通过在镜头移动的过程中得到塑造并增强

03

XR实现的技术设备条件

了解了XR的概念和原理基础，在实际应用中，应如何实现呢？

目前行业主流XR技术的实现所需要的技术设备主要包括：LED显示屏、LED控制系统、虚拟渲染系统、摄影机及追踪定位系统、同步系统以及其他辅助系统等。凭借以上技术设备。通过实时的工作流程，可将表演者融入到虚拟世界中而无需绿幕及后期制作，并即时输出最终画面。

整体技术框架如下图所示：

XR场景技术框架包括由LED显示屏组成的拍摄场地、摄像机、物体位置追踪与定位技术、实时图形渲染引擎(AR技术)、高速低延迟的网络等几大元素组成

其中：

● LED控制系统

主要承担接收虚拟渲染画面，并输出至LED显示屏，优秀的控制系统需具备高超的视频处理能力、可以对LED屏体进行精确的色彩管理和亮度调节，最大程度的展现出LED屏体应有的显示效果，并且在硬件端对XR的特殊应用需求（如多机位、高帧率等）提供技术支撑。

● 虚拟渲染系统

主要包含媒体服务器和实时渲染引擎，主控媒体服务器主要负责控制渲染引擎，处理摄影机数据，输出LED视频源画面。实时渲染引擎提供虚拟数字资产的整合与制作，搭建完整的虚拟拓展空间。

● 摄像机系统

拍摄现实画面并回传给虚拟渲染系统，需要使用专业级影视摄像机，以实现清晰无损的真实画面采集。一般会使用支持120Hz以上采集帧率的摄像机。

● 追踪定位系统

主要用于定位实现现实摄像机位移及镜头转动数据，定位系统的关键指标是精准度、自由度和低延迟，较常用的有机械追踪（云台、机械臂等）、光学定位，以及其他红外追踪、视觉相机追踪等。

● 同步系统

主要用于XR整体工作流程的基准时间与画面帧，独立而精确的同步系统是XR项目的必要条件，通过同步系统可以有效降低摄像机在拍摄LED屏体时出现的扫描线、黑场等问题，也可以通过控制同步时间搭配LED控制系统实现多机位拍摄效果。

XR场景技术实际操作流程

XR技术是近几年快速发展的新兴技术，相较传统的绿幕+抠图的虚拟拍摄方式，XR+LED显示屏具有显着的优点。未来在技术的快速迭代和需求创新的内在驱动下，方兴未艾的XR技术定将迎来属于自己的一片广阔天地。