随着数字化时代的发展,社会正在加速迈向深度智能化和虚实融合的全新阶段,数字技术也已经成为重塑社会运营模式的关键力量。在这个趋势下,数字人作为连接着现实与虚拟世界的桥梁,其重要性日益凸显。而动作捕捉技术赋予了数字人灵动的生命力,促使数字人的呈现更加真实自然,带来更加沉浸式的交互体验。那么动作捕捉技术是如何驱动数字人的呢,青瞳视觉(Chingmu)将在下文内容中为您解答。
了解动作捕捉和数字人在知道动作捕捉技术是如何驱动数字人之前,首先需要明确动作捕捉是什么,数字人又是什么。
动作捕捉,简称 “动捕”,是一种通过技术手段记录人体、动物或物体的运动轨迹和姿态,并将其转化为数字信号的技术。它能够精准捕捉真实世界中的动作细节,为数字内容创作、科研分析、互动体验等领域提供真实、自然的运动数据。
数字人是指通过计算机技术创造的、具有数字化形态的虚拟人物,它融合了人工智能、计算机图形学、语音合成、动作捕捉等多种技术,能够模拟人类的外观、行为、语音甚至情感,实现与人类的互动或自主表现。
动作捕捉技术是数字人实现生动交互的核心技术支撑之一。
数字人动捕是指通过动作捕捉技术采集真实的人体或物体动作数据,经处理后映射到数字人的骨骼系统,驱动数字人做出与真实动作一致的姿态和运动,从而实现数字人自然、流畅的动态表现。这一过程通常包括动作数据的实时采集,比如通过光学、惯性、视觉动捕等方式、降噪处理、骨骼映射,再结合实时渲染技术呈现出逼真效果,同时常与 AI 技术协同,让数字人的动作匹配场景需求,广泛应用于虚拟主播、影视动画、互动娱乐等领域。
数字人的应用领域(一)媒体娱乐
数字人通常作为虚拟偶像、虚拟主播活跃在直播、短视频、演唱会等场景。比如洛天依通过数字人形象开展音乐演出和粉丝互动。在影视动画中,数字人能够替代部分真人角色,结合动作捕捉技术实现逼真表演,降低拍摄成本并突破现实场景限制。
2023年央视开年大秀使用青瞳视觉(Chingmu)动捕系统打造的快手之星“狐璃璃”作为嘉宾亮相直播间,并与2023年央视春晚吉祥物兔圆圆梦幻联动,与央视主持人、明星艺人一起邀请粉丝吃年糕、食茶果、剪纸,共同献上一场传统与现代碰撞融合、别开生面的佳节体验。
狐璃璃运用了青瞳视觉(Chingmu)自研的光学动捕系统,通过动捕相机对真实的人体运动进行记录,结合当前流行的引擎技术实现对数字模型的重构和虚拟驱动,使得狐璃璃动作更加逼真流畅。同时,全流程的虚拟直播方案助力狐璃璃“来到”真实的三次元世界,融入直播场景,与真人嘉宾一起互动,打破虚拟与现实的界限。除此之外,还可以增加道具交互,支持换装,为品牌解锁营销新场景,创造更多商业可能。
青瞳视觉、狐璃璃合作案例
(二)服务行业
在客服领域,数字人客服能通过语音和文字与用户实时交互,解答咨询、办理业务,如银行、电商平台的智能客服。
在文旅领域,数字人可作为虚拟导游,为游客讲解景区历史文化,或化身博物馆虚拟讲解员,增强游览的趣味性和互动性。例如,青瞳视觉(Chingmu)动捕系统助力百度智能云为广西文旅打造数字人——刘三姐,它也是百度虚拟数字人在文旅领域落地的典型案例之一。刘三姐作为广西文旅的数字符号之一,不但经常出现在各类大会现场,还经常通过小程序和游客们互动,介绍当地美食特色等信息,创新的虚拟人形象为游客留下深刻印象。
(三)教育培训
数字人还可以充当虚拟教师、虚拟实训导师等身份,在医学、航空等专业领域,通过数字人模拟手术操作、飞行驾驶等场景,让学员进行沉浸式练习,提升实践能力,还可根据学生的学习进度和需求,提供个性化的教学内容和辅导。
(四)医疗健康
在心理治疗上,数字人可以作为虚拟陪伴者与患者沟通,缓解其焦虑情绪。在康复训练中,通过数字人示范标准动作,也能够辅助患者进行肢体康复练习,同时实时监测动作规范性并给予反馈。
(五)智能交互
数字人还可以集成到智能家居、智能汽车等设备中,作为交互入口,通过语音指令控制设备运行,如数字人车载助手可调节车内温度、规划路线,并且提供闲聊等情感化服务。
数字人的应用场景正随着动作捕捉技术的不断发展,拓宽其应用边界。那么在了解动作捕捉技术和数字人之后,动作捕捉是如何驱动数字人的这一问题也能够更好地被理解。
动作捕捉驱动数字人的应用方式(一)数据驱动
数字人的生成是基于人工智能技术和计算机图形学技术,来创建虚拟人物形象。使用三维扫描仪扫描人的外观、五官等,获取精确的三维数据,然后通过 3D 模型重建技术,构建出三维数字人模型。再通过真人佩戴动捕相机或面部捕捉头盔等设备,实时采集人体运动数据,然后通过算法将这些数据转化为数字人模型的骨骼动画参数,小到手指关节的弯曲角度,大到全身行走时的重心转移,都能被精准复现。而在这种数据驱动下,数字人的动作也更流畅且贴近真实人类的动作姿态。
数字人通常是通过面部表情以及动作来表达其情感。因此,通过佩戴动捕头盔可以实现对面部表情的高度还原及呈现,一颦一笑高度采集,让虚拟形象突破机械感、实现情感共鸣,将肌肉信号转化为数字人可执行的表情指令。
当然,全身动作捕捉对于数字人是不可或缺的。数字人全身动作捕捉是为了让虚拟形象拥有完整的躯体语言,它通过对人体从头到脚的运动数据进行全方位采集与解析,为数字人赋予符合生物力学规律的行走、跑跳、手势等复杂动作,在布置有动捕设备的环境下,例如在动捕棚内,动捕演员穿戴好动捕服进行创作表演,动捕相机通过捕捉动捕服上的标记点的,进而实时捕捉身体三维空间内的数据信息,例如运动轨迹、运动位置、形体动作等,为数字人搭建了虚拟躯体的运动框架。
全身动作捕捉
(二)实时驱动
动作捕捉技术能够使数字人具备实时互动的能力,而其实时交互能力往往体现在直播、虚拟社交、在线教育等场景中。数字人需要根据实时指令做出即时反应,它要求动作捕捉、数据传输、模型渲染等全链路在极短时间内完成闭环,让数字人的行为与现实指令形成 “无感知延迟” 的呼应。
那么这也就要求动作捕捉技术具备低延迟以及高同步性。例如,青瞳视觉(Chingmu)光学动捕系统助力芒果TV打造了首个虚拟主持人YAOYAO,使其达到与真人高度接近与同步的效果,并且能与真人主持人同台演出,架起一座虚拟与现实的沟通桥梁。
(三)情感驱动
数字人的诞生不仅是技术进步的体现,更在改变人类的生产生活方式、重塑产业格局、丰富社会文化等方面。那么这同时意味着需要赋予数字人情感表达。而数字人的情感驱动能力也是突破机械交互壁垒的关键。
它让虚拟形象不仅能模仿人类的动作,更能传递喜怒哀乐等复杂情感,实现与人类的深度情感共鸣。这种能力的核心是通过技术手段解码人类情感表达的规律,再将其转化为数字人可执行的表情、动作与语音策略,本质上是用技术复现人类情感交互的微妙逻辑。这项技术让虚拟形象逐渐摆脱冰冷的代码集合标签,成为能感知、能表达、能共情的 “情感伙伴”。
百度集团数字人“希加加”借助青瞳视觉(Chingmu)光学动捕技术支持,将人类情感的细腻与动作的灵动完美复刻至数字世界,使“希加加”摆脱了传统数字人的僵硬感,实现了从“形似”到“神似”的飞跃,为其注入情感灵动性。
动作捕捉技术是数字人从静态模型走向动态生命体的核心引擎,赋予数字人其生命力,成为连接现实与虚拟现实的可靠媒介。那么青瞳视觉(Chingmu)作为提供从数字人建模、驱动、内容制作、多场景交互等方面的技术支持及服务的动捕企业之一,会持续深耕动作捕捉技术发展,使动作捕捉技术在未来有更广泛的应用领域,创造更多的可能性。