作者/小ji
这些天,Facebook公司改名Meta的新闻,让 “元宇宙”又一次引发大众热议。
元宇宙描述了一个既映射于、又独立于现实世界的虚拟世界,所有人都可以以虚拟分身的方式进入其中,获得身临其境的感官体验。
虽然有关这一概念的一切还在争论中,但我们已经感受到了虚拟与现实交融地带的一步步扩张:冲入主流视野的虚拟主播们、爆款VR游戏、英伟达发布会中真假难辨的数字人等。
实际上,这些点滴动向,其背后都是大量科技研发团队们动辄数年的研发成果。
同在今年,在3D工业软件领域也出现了振·奋·人·心·的研发成果——一款3D面部全流程制作软件在今年5月份上市了。一时间在全球3D行业引起关注,它不仅可以帮助3D创作者们快速完成表情建模及表情动画制作,还提供了功能强大的面部动画的肌肉拟真功能,其高效和智能,让全球的3D创作者都感到惊艳。
更让人惊喜的是,这个具有划时代意义的软件,竟然出自国人团队之手——这就是由国内极客团队FACEGOOD耗时5年研发,历经大量项目沉淀、优化,以及技术研发后,向全球推出的AVATARY软件。
而同年7月2日,知名游戏公司Take-Two宣布全资收购法国面部动画技术解决方案公司 Dynamixyz ,这一消息发布后掀起了行业内的躁动,对于很多动画、游戏开发等应用场景和各类集成厂商来说无疑是措手不及。
赶上对手的退市,又赶上了元宇宙的浪潮,与其说AVATARY是应运而生的,小趴觉得不如说这个“五年磨一剑”的团队,必定是有备而来,他们的野心并非“替代”,而是“超越”。
国产团队耗时5年打造AVATARY
实际上,我们早在2018年就报道过关于FACEGOOD这一国内团队,以及他们在表情捕捉技术研发上突破。
当时的FACEGOOD自主研发的表情捕捉技术,让表情动画的制作效率大大提高,人力投入也大大减少,对比传统手工K帧的方式,可以实现近90%的效率提升。
这一技术的突破,可谓打破了国内长久的面部表情捕捉技术领域的空白。对比国外同类型软件使用效果,FACEGOOD在不少方面甚至更胜一筹。
然而这一突破只是FACEGOOD团队的阶段性成果,他们的最终目标,是想要为所有3D创作者们提供一个数字形象的一体化的、统一的一站式工业软件平台,在产业链的上游,在应用的最底层,为广大用户赋能。
在经过又3年的项目积累、算法研发和优化沉淀后, FACEGOOD团队终于实现了这一目标的第一步。
这就是软件AVATARY。
AVATARY集成表情建模、肌肉绑定,面部捕捉及驱动三大功能为一体,可以针对动画、电影、游戏、AR\VR中的虚拟数字形象的面部表情动画提供更加高效的,效果更优的制作工具。
此外,AVATARY的高精度面部捕捉技术跟踪参数达到了十万3D点云,这意味着3D创作者们可以利用AVATARY捕捉到真人的细微表情,实现如真人般细腻自然的3D表情效果。
这样总结,毕竟一款面向专业从业者的3D工业软件,可能对初次接触这款软件的人来说,有些吃不透。
接下来,我们挨个说下AVATARY的各个强大功能。
首先,是AVATARY的面部捕捉功能。
AVATARY的面部捕捉支持两种流程:离线流程(Tracker/Retargeter)和实时驱动流程(LiveDrive)。
离线流程操作便捷,分三步:先进行真人面部视频采集;接着把采集到的面部表情视频进行跟踪解析;最后将解析数据同步给模型,再驱动模型就能完成动画制作了。
对比传统3D表情动画制作,如果完全依赖手工建模、对齐、绑定,完成一段5分钟的动画可能需要动画师们近30天的工作量,而使用AVATARY则可以将这一过程缩短至几分钟!
此外,动画师们可以使用任意USB摄像头,就可以快速高效地进行真人表情采集了。并且,AVATARY的跟踪参数高达十万3D点云, 动画师们可以采集到以前根本不敢想象的复杂表情数据。AVATARY的目标是赋能3D创作者,解放创作者双手,让创作者把宝贵的时间放在艺术创作本身,基础性的重复工作交给软件自动处理。
实时驱动是AVATARY面捕功能中的另一个亮点。
这一功能将极大地方便虚拟直播用户们,以及其他对实时面捕有需求的创作者们。
案例:PUBG电竞直播使用了FACEGOOD D2进行实时表情捕捉
与之相应,在硬件上, FACEGOOD团队也自主研发了高品质的头戴硬件专业设备,可以选择配套使用。
配套硬件设备采用了红外摄像的方式,可以避免可见光的干扰,减少抖动;采用双摄像头设计,可以进行比更高精度的采集,更加精准地将表情还原。
目前FACEGOOD团队针对性的推出了4款硬件,无论是3D独立创作者、高校教学,到中、大型游戏、乃至高精度虚拟偶像IP孵化公司,无论是从事3D动画制作生产、虚拟直播/综艺、影视特效以及高精度数字人动画生产制作等等,都可以根据需要进行了解和配备。
同时,FACEGOOD团队表示,AVATARY对硬件没有特殊要求,普通用户依然可以使用任意常见摄像头进行高精度表情捕捉和制作。
另外两项强大功能
除了高精度面部捕捉功能,AVATARY另外两项功能也让小趴惊叹。
首先是AVATARY自动表情建模(BlendShape)功能—— AutoFace。
大家应该对传统3D角色面部表情高精度建模成本有所耳闻,如果纯靠人工制作一个形象通常需要很久,耗时一个月甚至两三个月也是有的,人力消耗很大。
而依靠AutoFace提供的自动生成功能,只需要几分钟,即可生成高精度BlendShape。
并且,此功能目前支持的形象类型非常丰富,涵盖人型、类人、动物、怪兽等,让动画师可以完全控制美术效果,大大提升工作效率。
AutoFace使用也十分简单,创作者只需导入一个基础模型,按照模版进行标点,即可自动生成51个表情模型(BlendShapes)。
目前,FACEGOOD团队表示,该功能还在不断优化升级中。未来,在精度、BlendShapes的数量和模型的兼容支持上,都会越来越完善,最终实现自动化绑定。
AVATARY的最后一个逆天功能,就是肌肉仿真——MuscleDrive。
3D动画师们应该体会过这种无力感:在传统的3D人物表情制作流程中,依靠BlendShape实现的表情驱动,面对微表情可以说是捉襟见肘。
而人的微表情变化是无穷的,表演的灵魂也恰恰都在这些微表情中。
为了解决这一问题, FACEGOOD团队的研发人员使用算法得出精确的3D人脸之后,通过肌肉仿真算法引擎,将表情参数重定向到虚拟人物,“每一帧的表情都是根据肌肉计算出来的”。
FACEGOOD的仿真引擎可以模拟真实的软体变形、撕裂等物理运动,从底层力学出发,彻底解决高精度数字人表情仿真难题。
这意味着,使用AVATARY,不仅可以实现更高精度跟踪人脸的3D特征,包括脸型、五官深度、微表情的变化等,更可以让动画师从“被绑定卡脖子的日子”中解放出来。
在未来不久,创作者只需要在MuscleDrive上传一个基础模型,AVATARY就可以自动生成47块肌肉,并通过肌肉仿真引擎,为用户生成最自然的表情动画——这不知道将会让多少3D动画师们做梦都会笑出来。
海内外的反馈
2021年2月,FACEGOOD团队上线了公测版AVATAR STUDIO,并面对高校、数字媒体艺术各领域从业者及行业内顶尖动画公司展开测试和交流。
经历81天的产品打磨周期后,2021年5月,FACEGOOD宣布Avatar Studio正式版AVATARY上线,并开放免费下载。
上线短短一个月内,AVATARY就收获了腾讯、原力、追光、虎牙、叠纸、虚拟影业、达瓦未来等用户,产品得到了头部企业认可。
同时,FACEGOOD表示,他们已经同中央美术学院、中国传媒大学等艺术院校合作,通过讲座及相关课程,培养更多3D创作人才。
2021年10月23日,国产原创动漫形象舞台竞演节目《2060》在江苏卫视播出。据悉,全季26个V-life(虚拟形象)的表情捕捉,全部采用FACEGOOD技术。
现场观众跟评委们还可以实时跟V-life进行互动,让观众可以沉浸式体验,打开了人们对虚拟形象的更多想象空间。
包括很多海外影视、动画、虚拟偶像等领域公司及个人创作者对AVATARY海外版都期待已久。
2021年7月10日,AVATARY海外版正式上线,自上线以来,在海外的官方平台也受到了大量关注。
日本导演、3D艺术家横原大和(HirikazuYokahara),在今年8月份发布的一段使用AVATARY和D2进行离线制作的测试DEMO,一天内即引发了业内近万人的点赞,并随之也引来了其他几位业内大神的关注。
其他大V也纷纷跟进国货之光AVATARY打破了原来在面捕技术上的局限,能让大家以更短的时间做出更好的效果;并同时能够深入用户群系中,了解用户痛点,帮助用户解决问题,因此获得了海外用户的认同。
当下,AVATARY海外版已经触达38个国家 400多个团队……相较于国内市场,成熟的海外市场,可能会为AVATARY带来更大的施展空间。FACEGOOD历时5年沉淀而出的面部制作技术,将会造福全球的3D内容创作者。
AVATARY产品软硬件案例合辑
创始人Q&A解答
只短短几年时间,FACEGOOD团队是如何在细分垂直技术领域迅速成长为国际领先的企业的?AVATARY要怎么赢利?我们带着一些问题,采访了FACEGOOD的创始人&CEO王全伟(以下简称JELO)。
学术趴:FACEGOOD最初为何想要做工业软件?
JELO:我们学科有三大浪漫:编译器、操作系统、图形学。?我以前是做编译器的,就是把编程语言翻译成二进制,是兴趣也是首次创业,也是第一桶金。后来2015年二次创业,一心想做3D工业软件,就开发了粒子特效引擎,发展了十多家企业用户,这是第一个产品。
一年后我去了一趟Weta Digital,运气很不错,当时阿凡达2跟3正在拍摄,他们彻底改变了我对RnD的认知,回国后坚定了主攻方向——软体仿真。这个方向学科跨度非常大,计算力学难度很高,但是我们以前做编译器养成的风格就是越难越兴奋……软体仿真?有限元?不会不要紧,可以从头搞起!
我们团队保持着一个进攻状态,从技术上要完成“追赶”,“追平”,“超越”三步走,就这样在软体上的执念就算开始了,“软体仿真工业软件”太酷了!
2016年我们接到了第一单,全程陪跑负责动画《地灵曲》表情捕捉解决方案的定制开发,2017年武汉两点十分成为我们表情捕捉产品第一个用户。
学术趴:FACEGOOD这一团队是在怎样的背景下建立起来的?团队构成是怎样的?大家平时的工作氛围如何?
JELO:创业搞研发我们很穷,招人上还特别挑,“你喜欢我们做的技术吗,来一起做吧”,就这样召集了一群因为兴趣聚在一起的同事。
就像其他创业者一样每天面临的都是困难跟短板,我们也有发不下工资的时候,团队非但没垮,还研发了最好的产品,依靠的就是“兴趣第一,啃最硬的骨头做最有趣的技术”,困难是暂时的,只要方向对就一定能行,这样的信念。
学术趴:团队在5年的产品研发过程中,遇到的最大困难是什么?
JELO:非官方纯民间搞5年研发很不可思议。因为我们是做toB工业算法的,也就是解决工业问题的,用户要求精度没有尽头,这就导致我们需要不断捅天花板。
但我们是这么理解的,有门槛才有价值,技术的尽头是艺术。艺术没有尽头,生命不息研发不止。
学术趴:FACEGOOD为何会免费发布软件下载,又会如何盈利?
JELO:我们的硬件价格只有老外的1%,软件又免费下载,企业怎么挣钱?
我们产品的定位是“赋能全球3D内容从业者”,让每一个从业者能用上最好的技术,就像是把一个法拉利交给用户去通勤上下班,创作效能提高了用户赚钱了,我们自然就赚钱了,这是一个生态……我们最怕的是产品没价值,解决不了问题没人用,相反用的人越多越好。
学术趴:未来FACEGOOD又会基于当下的产品做出哪些尝试?
JELO:在创业五年之后我们停掉了定制开发,全面开始产品化。?成熟的技术一定能产品化,好的产品一定能让更多人受益,目前FACEGOOD产品Avatary上线半年,已在全球38个国家地区,400多个团队使用其进行3D内容制作,其中涉及游戏、动画、电影、VR/AR、数字人、虚拟直播等主要应用场景。创作者生态已经在逐渐形成。
未来我们会推出一系列“计划”为我们的用户创造更多价值,赋能、加速、孵化三个维度全面服务3D内容创作者。最后我想说的是表情捕捉是FACEGOOD一个起点,不是终点,未来一年还有大菜上桌。
FACEGOOD团队的最终愿景,即赋能全球的3D内容创作者。也希望在这个过程中,用先进创新的技术,助力各类3D内容应用场景的构建,在国际主流3D工业软件舞台有国产一席之地。