- Оригинал статьи
- Объяснение
数字虚拟演播室技术在高校全媒体教育中的应用研究
——以贵州师范大学“全媒体教育实训室”为例
赵梦 (贵州师范大学,贵州 贵阳 550001)
摘要:近年来,随着新媒体、融媒体及相关行业的快速发展,虚拟仿真技术在媒体行业的应用日益广泛。作为知识创新与技术 应用的前沿阵地,高校在虚拟演播室技术探索与实践方面扮演着重要角色。基于此,以贵州师范大学“全媒体教育实训室”为 例,深入分析数字虚拟演播室技术在高校中的应用。
关键词:数字虚拟演播技术;全媒体教育实训室;虚拟场景生成
Research on the Application of Digital Virtual Studio Technology in University Multimedia Education —Take the “All-Media Education Training Room” of Guizhou Normal University as an Example
ZHAO Meng
(Guizhou Normal University, Guiyang 550001, China)
Abstract: In recent years, with the rapid development of new media, converged media, and related industries, virtual simulation technology has seen increasingly widespread application in the media sector. As a frontier for knowledge innovation and technological implementation, universities play a vital role in exploring and practicing virtual studio technology. Taking the “all-media education training room” at Guizhou Normal University as a case study, this paper conducts an in-depth analysis of the application of digital virtual studio technology in higher education institutions.
Keywords: digital virtual studio technology; all-media education training room; virtual scene generation
视频应用与工程
0 引言
近年来,随着新媒体、融媒体、电竞游戏、文娱 展览及数字医疗等行业的蓬勃发展,内容智能生 产、信息交互、大数据可视化、信息三维可视化、实 时在线、虚拟现实(Virtual Reality,VR)、增强现 实(Augmented Reality,AR)、扩展现实(Extended Reality,XR)等应用爆发式增长,虚拟仿真技术在 媒体行业的应用愈加广泛。作为知识创新与技术应
用的前沿阵地,高校自然而然地成为这些新技术探 索与实践的重要场所。在广播电视行业,传统媒体 行业引用虚拟演播室技术增添新的制播方式。虚拟 演播室技术一方面可以节约制作成本、节省制作空 间,另一方面可以给观众带来新鲜感,吸引更多的 受众,进而提高收视率。文章以贵州师范大学的“全 媒体教育实训室”为例,深入分析数字虚拟演播室 技术在高校中的应用。1 “全媒体教育实训室”数字虚拟演 播室搭建
1.1 硬件建设 贵州师范大学的“全媒体教育实训室”是大型
影视节目智能生产实训室,室内面积达 572 m2,具 有大型站播区、坐播区、导播区、绿箱区、白箱区及 展示区等多功能制作区域,配置有机器人摇臂、自 动升降云台等智能化生产设备,主要用于大型影视 节目的智能化生产和情景化教学,建设规模达到省 级卫视节目生产制作标准。演播厅有 1 台杰讯机器 人摇臂、2 台杰讯自动升降云台、30 台发光二极管 (Light Emitting Diode,LED)数字影视平板柔光灯, 35 m LED 大屏配有 2 台 65 英寸索尼液晶显示屏作 为辅助屏幕。导播间有 5 组导播操作台、3 组电视墙、 5 台 65 英寸液晶显示屏及 1 台 4K 监视器等设备。
虚拟演播室系统通过集成智能传感摄像机(搭 载运动追踪模块)、高性能计算平台、三维场景渲染 引擎及实时视音频处理设备,构建出虚实融合的节 目制作体系。其核心技术在于将真人表演者的动态 影像与计算机生成的三维虚拟环境进行实时渲染和 动态融合,依托毫秒级精准同步算法实现前景人物 动作与背景虚拟场景的帧级匹配,最终输出无缝衔 接的沉浸式视听内容。
1.2 软件建设 “全媒体教育实训室”虚拟演播室的软件主要
采用艾迪普科技有限公司开发的 4K VR 增强系统, 包括三维图形创作工具 iArtsit、数字媒体虚拟演播 合成软件 iSet 以及实时图文播控软件 iStudio 等。
iArtist 三维图形设计软件依托先进的实时图形 引擎技术,通过优化操作界面、集成多元特效模块, 结合卓越的即时渲染性能,助力用户打造更具专业 水准的视觉艺术作品。iSet 数字媒体虚拟演播合成 工具以图形图像引擎技术为核心,根据编播一体的 All-in-one 制播流程设计概念,提供完整的数字媒 体生产能力。将节目生产所需的切换台、录像机、 在线包装、调音台、色键器、机器人摄像机控制及监 视监听等所有功能集成于一套软件工具中,通过丰 富的镜头运动设计,加入融媒体内容生产需要的快 速推流拉流、各终端直播、录制及截屏等功能,配合 CG SaaS 数字图形资产云平台,可快速预演节目效 果,实现高效率、低成本的制作与应用。
2 数字虚拟演播技术
EUGENE L 于 1978 年发表“电子布景”学说, 奠定了虚拟演播室技术的理论基础。该学说预言: 电视节目的实体制作空间可缩减至仅有演员和摄像 机的演播室,因电子系统已具备生成虚拟场景和道 具的技术可行性 [1]。这一理念为虚拟演播室的发展 奠定了基础。
2.1 摄像机跟踪技术 摄像机跟踪技术的核心任务是精确捕获摄像
机的真实运动参数。在虚拟演播室合成场景中,虚 拟场景被视为由虚拟摄像机拍摄的图像,摄像机需 要与演员(或节目主持人)保持完全同步的运动。 该机制首先捕获演播室摄像机的空间坐标与运动参 数,继而构建真实拍摄单元(摄像机+人物)与虚 拟场景的空间映射模型,完成虚实摄像机的高精度 空间配准 [2]。
杰讯 Antelope 机器人摇臂系统被部署于“全媒 体教育实训室”。该演播级高科技设备配备 3.4 m 可调臂体,具备亚毫米级 VR 画面追踪精度。其功 能集成体系覆盖全自动摄像机空间运动预设、轨迹 闭环控制及自主运动执行共 3 大核心模块。在无人 操作的情况下,可以通过预设的运动轨迹精确、稳 定地录制演播室电视节目,也可以通过操作手柄手 动控制摇臂进行拍摄,或者通过面板远程遥控演播 室摇臂进行录制。这款机器人摇臂非常适合需要虚 实结合的演播室节目录制。
多源软硬件独立体系的兼容能力,叠加基础模 块组(机械摇臂 / 云台电控 / 回转机构 / 遥控面板 / 手柄控制 / 触屏软件),共同构成杰讯 Antelope 摇 臂的配置自适应架构,包含人体运动识别自动跟踪 拍摄功能、空间定点跟踪拍摄功能和定轨迹连续运 动录制功能。该体系与杰讯旗下其他摄像录制设备 共同构建自动化演播室多机位视频制作集控系统, 能够降低设备操作难度,增加画面录制稳定性,提 高电视节目制作效率。
2.2 计算机虚拟场景生成技术 数字演播室技术的核心通常由两组主干计算
单元构成。一组专门解析摄像设备追踪数据,多选 用高性能计算机设备或紧凑型工作站;布景的创建 与制作则交由另一组系统完成。其呈现的布景元 素及道具,多借助计算机图形技术实现。这一特性使得虚拟制作环境能够构建常规摄影棚难以企及 的宏大复杂背景,甚至展现诸多现实世界不存在的 景象。
随着个人计算机在运算性能、图形渲染及影 像处理能力上的显著提升,Silicon Graphics 图形 工作站垄断虚拟演播主机应用的局面被打破,从而 为用户提供了更加多元化的配置选项。通常,立体 虚拟场景可经由预渲染三维模式或实时三维模式 生成。
在预渲染三维模式下,首先需利用三维建模软 件搭建场景模型,并预先为每部物理摄像机渲染其 对应虚拟摄像机的画面作为合成背景。模型一旦完 成渲染,摄像机的位置即被锁定,无法再进行空间 移动。此模式能够产出视觉效果逼真的立体虚拟背 景,因此也被称作“二维半”(意指具备部分三维特 性的二维空间效果)。iSet 数字媒体虚拟演播合成 系统录制的节目即是预生成三维方式。该系统无须 任何摄像机跟踪器、延迟器及色键器等高价设备配 置,只要连接摄像机,就可以进行栏目包装制作及 合成,或直接现场播出。
采用真三维方式时,需先建立三维模型,并确 保模型内的虚拟摄像机与演播室真实摄像机精确联 动。因此,真实摄像机镜头参数或位置的变化会即 时驱动虚拟摄像机进行同步调整,同时实时渲染出 虚拟背景视图。这赋予了演播室内所有摄像机自由 移动的能力 [3]。iStudio 实时图文播控软件即是真三 维方式。操作员通过摄像机的操作台手动跟踪主持 人或者演员行走轨迹。
而“全媒体教育实训室”拥有的艾迪普公司 G-SET 虚拟演播系统,则可以在实际操作中根据节 目录制的需要,既能用预生成三维方式,又可以用 真三维方式。
2.3 背景
虚拟演播室背景既支持动态采集(源自录像机 / 摄像机),又兼容静态图像。虚拟场景之所以区别 于传统设计,是因为其具有双重特性:不仅要求前 期创作,还凭借卓越灵活性摆脱了物理约束;既免 除实体道具的制作、运输及存储开销,又能构建超 现实的虚拟物体 [4]。
主持人或演员的活动范围必须严格限定于蓝 箱(绿箱)内。这不仅是人物表演的实际场景,而 且是虚拟背景制作的基本前提。色键抠像的质量直 接受制于蓝箱(绿箱)的品质。根据用途差异,蓝箱(绿箱)可被设计为一墙一地或三墙一地结构。 无论何种形式,其立面与地台的夹角需大于 90°。 为减少灯光明暗差异及人物反光,弧形平滑过渡结 构应被优先采用 [2]。
“全媒体教育实训室”的绿箱区采用的是三墙 一地结构,为学校师生拍摄视频课程、微课、慕课以 及各种竞赛提供了良好的环境。
2.4 灯光技术
数字演播室的难点在于协调物理照明与虚拟 照明的动态同步。这要求灯光调控系统实现全面数 字化。首先,要支持灯具运行参数的即时存储与指 令化调用;其次,需使计算系统精准捕捉实时光线 的细微波动,并实时驱动虚拟光源进行协同变化; 最后,构建双向交互控制逻辑,即虚拟光源的调整 亦可反向操控实体灯具。在此协同机制下,抠像控 制器必须动态同步光照状态数据。
另一个难点是影子问题。表演者与实体道具在 色键背景(蓝幕/绿幕)内投射的阴影需要无缝集 成到虚拟环境中。为提升阴影采集精度,照明方案 必须严格遵循两项原则:阴影区域与背景幕布的色 度需保持可识别差异,投影角度须始终与虚拟光源 方位保持一致。为实现虚拟反光地板的高保真投影, 蓝箱(绿箱)地面可覆设蓝色透明塑料层。虚拟演 播室投影通常被限制于地面区域;若需在虚拟墙面 生成投影,则需在箱内对应位置配置大型蓝色模拟 物体。至于不规则虚拟物体表面的投影需求,其灯 光模拟的技术可行性将显著受限 [5]。
3 “全媒体教育实训室”数字虚拟演 播室技术的应用
3.1 摇臂的跟踪拍摄 摇臂机器人是以实现演播室节目录制无人化
和自动化为目标的机电设备,有空间定点自动跟踪、 人体运动自动拍摄这两种自动跟踪拍摄功能,可在 臂身自动运行的过程中自动跟踪拍摄任意空间中的 静物、虚拟图像以及任意行走的主持人。摇臂在演 播室环境录制中不受场地、人物以及固定脚本的限 制,录制灵活自由。
3.1.1 空间定点自动跟踪 手摇模式下,空间定点自动跟踪功能主要针对
静止的物体或虚拟图像拍摄。摄像师通过监视器画 面实时选择空间中的被拍摄物体(物体可以是静物、 不移动的人物或虚拟物体),开启功能按键。此时系统可自动识别该目标,摄像师仅需要对臂身进行摇 移,云台可自动控制对该目标进行跟踪拍摄,确保目 标位于画面理想位置。摄像师可根据创作需要,通 过手柄只对镜头的变焦和聚焦进行控制,来完成最 佳的画面构图,大幅降低摇臂录制的使用难度。 3.1.2 人体运动自动拍摄
人体运动自动拍摄功能主要针对任意行走的 人物拍摄,是基于图像识别的人工智能跟踪拍摄, 通过对人体特征进行捕捉,经软件驱动云台旋转来 调整镜头画面,完成对目标主持人的自动跟拍。摄 像师仅需对摇臂进行摇移及镜头变焦、聚焦操作, 不需对云台的水平和俯仰进行控制,系统可自动追 踪预设目标并形成所需构图画面。该功能可使主持 人摆脱脚本对行走路线的束缚,在录制过程中任意 行走,同时降低摄像师操作云台对人物进行跟踪拍 摄的操作难度。拍摄过程如图 1 所示。
3.2 爱迪普 G-SET 数字虚拟场景设计 数字虚拟演播室技术已突破传统演播边界,其
应用版图延伸至电视实时包装、VR/AR 应用开发、 三维教育可视化、数字医疗诊断、智能展览交互乃 至全息影像艺术创作等多元维度。G-SET 系列虚 拟演播合成系统无须硬件跟踪设备,通过无轨跟踪 方式实现机器人摇臂中虚拟摄像机的运动,实现更
加丰富的效果。
爱迪普 G-SET 系列数字虚拟场景设计系统包
括 iArtist 实时图形图像创作工具、iSet 数字媒体虚 拟演播合成软件、iStudio 实时图文播控软件等。“全 媒体教育实训室”可以使用iArtist实时图形图像创 作工具对节目内容进行包装,再用 iSet 数字媒体虚 拟演播合成软件对虚拟演播室进行录制。具体步骤 如下。
第一步,节目录制前,由工作人员根据节目需 要,使用 iArtist 软件提前制作虚拟演播室的背景、 字幕、人名条、虚拟前景及虚拟视窗等内容。iArtist 是一款功能强大的三维图形图像实时创作软件,依 托爱迪普科技自主研发的第三代三维图形实时计算 引擎架构,通过智能交互工作流、参数化特效组件 库与多通道实时渲染引擎的深度融合,赋能数字艺 术家实现全流程可视化创作,助力设计师高效构建 影视级三维视觉资产,满足跨媒体平台的专业化内 容生产需求。iArtist 界面如图 2 所示。文字功能位 于“工具箱”,用于创建拥有不同内容、字体等属性 的文字。在素材中创建文字,只需单击“工具箱”, 单 击 选 择“ 文 字 ”,并 在 弹 出 的 选 项 卡 中 选 择“ 文 字”,拖动至“工作渲染显示区”;然后在“物件树” 中单击选择“文字”物件,在右侧“物件属性”栏中
选择“特有属性”,修改该物件的文本、字体、背景 等参数。
第二步,导播在节目录制前使用数字媒体虚拟 演播合成工具 iSet 的编辑界面为直播节目提前做好 播出镜头的效果。iSet 编辑界面如图 3 所示。
在该编辑界面,“场景窗口”用于导入事前用 i A r t i s t 制 作 的 虚 拟 场 景 ;“ 信 号 源 选 择 窗 口 ” 对 应 信 号源、视频、流媒体;图片的“编辑视窗窗口”可以 看到场景和动画的显示,根据主持人的位置更改素 材的位移、旋转、缩放及中心点等。“物件树窗口” 用于添加场景和动画素材、更改素材层级关系;“替 换项窗口”显示素材可替换项目;“交互单窗口” 可添加物件树素材的动画轨,可添加多个动画轨编 组;“抠像按钮”用于去掉采集摄像机信号的蓝、绿 色背景;“遮罩按钮”用于对信号源上、下、左、右 生效垃圾进行遮挡。“镜头控制窗口”可对虚拟镜 头的方向、远近等进行控制,选择、添加、更改镜头 的区域;“镜头池窗口”可显示和设置所选择镜头
的转换方式和时间;“节目单编辑”中添加镜头,对 素材动画轨、镜头的切换方式进行编辑;在“镜头调 试区”的镜头参数窗口可以调整虚拟镜头的水平或 俯仰角度、远近位置以及变焦等参数。
第三步,导播在数字媒体虚拟演播合成工具 iSet 的“播出界面”检查信号源预览窗、AUX 信号窗、 输出节目信号(Program,PGM)合成信号窗、输入 预监画面(Preview,PVW)合成信号窗的画面。如 果画面缺失,需要立即检查网络设备接口(Network Device Interface,NDI)信号和串行数字接口(Serial Digital Interface,SDI)信号与摄像机的巡道是否连 接。在“信号源预监窗口”监看每一路信号源,包 括外来信号、本地视频、拉流及图片;在“预监窗 口”预监信号以及镜头位置;“操控窗口”可显示 各 shot 按钮的镜头和信号源情况,可控制镜头的播 放方式和信号源的特效切换;“音频控制区”控制 每一次信号源音频,可单独控制;在“镜头区”监看 shot对应场景的位置;“特效区”实现信号源与信号源特效切换,如半透、马赛克等;“播控调整”同 编辑界面交互单、替换项,可添加视频素材、拉流及 图片。
值得注意的是,点击 PGM 下的信号源与 shot 按钮切换,可直接影响实际播出窗口的信号源及 shot 画面切换,即 PGM 下的信号源与 shot 按钮切换 控制实际播出画面切换。点击 PVW 下的信号源与 shot 按钮切换,影响的是 PVW 预览窗口的信号源 和镜头画面切换,即 PVW 下的信号源与 shot 按钮
切换控制 PVW 预览窗口的画面切换。PGM、PVW 信号源区域显示与编辑界面信号源选择 AUX 设置 的信号源是相对应的关系。
在节目录制过程中,导播需在 iSet“播控界面” (见图 4)紧盯同步播出的 PVW 画面和即将播出的 PVW 预览窗口,根据节目内容直接点击预先做好的
“顺播单”。实时播出的节目如每年的春节联欢晚会、 大型体育赛事等,不仅需要导播,还需要灯光师、调 音师、字幕导播等的共同配合4 结语
图 4 iSet“播控界面”
高校数字虚拟演播室的建设和应用,顺应了新 时代高等教育数字化转型的发展趋势,在提升教学 质量、培养学生实践创新能力方面发挥着关键作用。 作为融合现代传媒技术与教育教学的重要平台,数 字虚拟演播室正逐步成为传媒类高校专业建设的标 配设施。在国内专业领域领先的高校中,以中国传 媒大学、北京电影学院、中央戏剧学院、上海戏剧学 院等为代表的艺术类院校率先建立了先进的虚拟演 播系统。后有综合类拔尖的高校如武汉大学、重庆 大学、广州大学等,也先后建立了自有虚拟演播室。 为响应国家教育均衡发展战略,地处西南地区的贵 州省高校也在积极推进虚拟演播室建设。贵州师范 大学、贵州民族大学等本科院校,以及部分职业院 校,都已建成或正在规划建设符合教学需求的虚拟 演播厅。这些设施的投入使用,有效解决了西南地 区传媒类专业学生对前沿技术的学习需求,为培养 适应媒体融合发展的高素质人才提供了重要支撑。 从教育价值来看,高校数字虚拟演播室具有多重意 义:其一,通过模拟真实媒体工作环境,显著提升了
实践教学质量;其二,为学生提供了接触虚拟制片、 实时渲染等前沿技术的实践平台;其三,促进了跨 学科创新能力的培养,为媒体融合发展储备复合型 人才。随着 5G、人工智能、VR 等技术的深度融合, 高校虚拟演播系统将在教学改革、科研创新、社会 服务等方面发挥更加重要的作用,持续推动传媒教 育与产业实践的协同发展。
参考文献:
[1] 付建清 . 虚拟演播室技术及其在电视教材制作中的应 用 [J]. 吉林省教育学院学报(学科版),2011,27(7): 22-23.
[2] 杨晓宏,李兆义 . 数字电视节目制播技术 [M]. 北京:北京 大学出版社,2018.
[3] 朱勇 . 虚拟演播室系统及其关键技术 [J]. 江苏广播电视大 学学报,2001(6):53-55.
[4] 孟群 . 电视数字制作技术 [M]. 北京:北京师范大学出版 社,2003.
[5] 郭娅 . 虚拟演播室技术在应用中的几个关键问题 [J]. 现代
中国知网:https://www.cnki.net
