您好!欢迎来到酷虎软件

虚拟人直播数字人设计探索

  • 数字人
  • 来源:酷虎软件
  • 编辑:酷虎软件
  • 阅读:434

image.png

   虚拟数字人入场元宇宙热潮,“虚拟形象”构建能力必不可少虚拟人 。相比于平面或动效的设计,元宇宙项目对设计师提出了新的挑战,不仅要好看,更要好用、好玩。本文将与大家分享虚拟现实我们虚拟人项目的设计公司探索过程以及过程中攻克的难题,项目仍在进行,欢迎大家交流指正。 项目背景 入场元宇宙势不可挡


2018年热门电影《头号玩家》精彩直观地呈现了一个虚拟沉浸式体验虚拟世界,去年Facebook更名为Meta投身元宇宙,百度上线“希壤”,各式各样的云宇宙概念应运而生,体验更加丰富、沉浸的虚拟世界必然是不可错过的商业机会,而虚拟形象则是元宇宙的入场券虚拟人 。


网络截图


友商大力投入


在B端音视频领域,虚拟人设计,即构、相芯两家抢先入场,已具有相对成熟的解决方案虚拟人 。即构官网给元宇宙相关产品极大曝光,相芯更是将品牌升级为“元宇宙搭建者”,可见友商投入之大,这也给了我们很大压力。 酷虎软件官网


客户有需求虚拟人 ,抓住商机


音视频产品很大一部分客户在泛娱乐行业,涵盖了当下元宇宙应用的诸多场景,元宇宙相关能力与音视频已有的产品场景关联度以及客户重合度都很高,商业价值不容小觑虚拟人 。


设计定位 目标制作方客户探索


我们的客户覆盖社交、教育、游戏、金融等多个行业,虚拟人 :虚拟人设计探索,而对虚拟形象的需求会较为集中在泛娱乐场景虚拟人 。通过接入虚拟形象的能力,可以模型在产品中构建著名虚拟形象,进行社交、游戏、直播及内容创作等。


社交算法app中的方案虚拟角色


风格定位


2017年苹果秋季发布会上Animoji横空出世,是虚拟形象大规模应用的第一个里程碑,随后各大手机厂商跟进, OPPO、小米、三星等都推出了虚拟形象;社交娱乐App方面,Zepeto在2018年大火,上线半年后霸榜App Store前十,虚拟人制作方案,QQ也在今年上线了超级QQ秀虚拟人 。


对比手机厂商、社交应用以及B端虚拟人形象,我们从“年龄感受”和人物“拟真度”两个维度定位虚拟形象的模型风格虚拟人 。从图中可以看到,社交属性较强的应用在年龄感上会偏向年轻和虚拟,而我们作为虚拟形象探索服务商,为了更灵动的映射人物表情,虚拟程度会更偏向真实感。


虚拟角色人物象限定位


目标效果


相比于界面设计,虚拟人的设计更关注实现效果,并且需要根据设计侧设计软件和虚拟研发侧的实际能力评估可落地的实现目标虚拟人 。评估后我们探索计划在本阶段完成自定义捏脸、全身仿真形象、拍照生成和语音驱动4个主要能力的搭建。


设计探索


对我们来说,虚拟人制作技术平台,虚拟人项目的设计落地百科涉及到一些比较陌生的技术领域虚拟人 。平常我们使用三维软件主要用于输出界面中的三维风格插图,而建模这一次将迎来教程的是“从图像到互动”的挑战,将运用Blendshape、AR、表情捕捉、动作捕捉、3D素材互动合成等技术。面对这个情况,我们探讨出两个策略:“先探路,再深入”以及“结合商机外国,动态攻坚”来推动项目进行。


2D设定


通过风格定位,我们把形象风格定位在偏向虚拟,年龄感偏青年的象限,结合我们泛娱乐场景的应用,注重情绪传达和表情的灵动虚拟人 。基于此我们把五官的表达进行强弱排序,眼睛制作的情绪表达和表情参与度是最高的,嘴巴其次,所以我们将脸宽五眼的比例调整到3.5眼宽,并拉开中庭。五官的刻画上也依照强弱顺序,眼部和嘴部会更细致和具体,其他五官相对弱化,圆润的脸型和较大的眉眼间距能让形象更活泼年轻,更显善意感。


面部比例设定


3D模型设计


3D人像只作为仿真图像设计是比较简单的,只要电脑不冒烟,对多边形面数没有要求,过惯了百万面数的奢华日子,面对虚拟人项目里引擎要求面数在两万以内顿时傻眼,为了最终在互动时保证性能流畅,模型减面工作必不可少虚拟人 。


在C4D中我们通常借用重拓扑插件百科来减少方案面数,但生成的效果不尽人意,布线并不贴合人脸肌肉走向公司,眼睛嘴巴变形严重虚拟人 。后来了解到S26版本的C4D更新了一项重拓扑工具,可选择样条用于保持原本布线走向,解决了重拓扑布线不贴合肌肉走向的问题。但由于面数要求苛刻,眼部嘴部的线条按重拓扑的方法会过于粗糙,后来又在拓扑出的模型上修补调整。


面部拓扑布线


表情捕捉


表情捕捉在美术设计上属于专业细分领域,从0基础到可商用距离太远,但可以借助科技与狠活来解决效率问题虚拟人 。我们尝试了Avatary旗下的 Autoface软件和 Blender的 Faceit插件,两者都可以输出符合规范的52表情Blendshape,前者操作更加傻瓜式,容易上手,后者效果可控性更好,且涵盖了一些延展的功能便于捏脸功能的实现,所以最终我们选择了Faceit插件。


插件的制作方平台动态技术效果


捏脸功能


捏脸功能是通过Blendshape来实现的,比如脸颊宽度,可雕刻出最宽形态设置值为平台“1”,最窄著名形态设置为“-1”,输入-1到1之间的数值即可实现自定义的捏脸效果虚拟人 。


通过雕刻生成Blendshape的实现方式也有一定的局限,在眉形的公司设计上,给每个眉形一个Blendshape,选择该眉形时调用其Blendshape的数值外国“1”,虚拟人百科,但对眉毛厚度长度的变形是公用的一个Blendshape,这样在不同眉形去调整时会出现不规整的效果,目前我们只能控制眉形数量来满足基础的调整虚拟人 。


面部参数调整


引擎调试


,配置贴图和材质后即可交付研发同学使用。 而对于客户来说,不用储备Unity开发人力算法,使用轻量简单的引擎工具即可设计公司接入虚拟人


虚拟人

。 性能优化


功能跑通后,仿真虚拟人,虚拟人技术及应用,我们针对性能不足的地方进行了进一步研究和优化


虚拟人

。影响性能的因素可归为两类-资源体积设计和实现逻辑。 资源体积优化


模型体积优化:除了做好前面所说的减少面数,模型所带的Blendshape信息也会占用资源体积,所以需要删去不必要的Blendshape


虚拟人

。 引擎资源包体积优化:GLB导入引擎可能会解方案析出多余的文件,可以在仔细检查后删除多余文件


虚拟人

。 配件模型体积优化:配件模型数量多,整体体积很大,需要单独打包出来,使用时再教程调用


虚拟人

。 贴图体积优化:选择合适的分辨率,全身贴图可选择1024分辨率,睫毛贴图则用设256分辨率即可,打包前外国给图片压缩一下


虚拟人

。 实现逻辑优化


组合算法的实现方式:最初在模型阶段,虚拟现实设计,眉毛拟人、睫毛等都是用子模型的方式构建,表情捕捉绑定后,这些子模型都可以与表情联动,但在捏脸功能上,想要替换眉形、眉毛样式,子模型就教程无法跟随表情联动


虚拟人

。需要将眉毛雕刻成不同的眉形,存成Blendshape,在眉毛这种形态较为概括的模型上是可行的,但睫毛形态比较细节,通过雕刻变形不太可行,我们想到在足够大的眼周片状模型上贴图来实现,通过引擎测试后,证明这个方法是可行的。 联动的实现方式:在捏脸功能上我们设计了眼睛大小、眼睛角度、眼睛位置的变形参数,虚拟人制作,睫毛模型需要与眼睛变化同步,当眼睛调整时,可以同时呈现眼睛和睫毛两个Blendshape对应外国参数的效果


虚拟人

。 与研发同学寻找新思路:引擎中的效果实现还要结合脚本编写


虚拟人

,我们和研发同学一起研究了眼球跟随和固定头部/AR效果切换的制作方法,在此暂不展开,感兴趣的同学可以私信留言哦~ 建立性能标准


参与B端产品的角色众多,架构师、商务、产品、研发以及客户公司等每个角色视角和标准不一,所以需要建立一个大家都制作方认可的结果作为标准,来引导优化的方向


虚拟人

。目前,素材的灵敏度是我们比较关注的问题设,对比市场上对标的虚拟形象,我们使用量表测试问卷进行灵敏度度评估。 灵敏度评估量表


Demo设计


为了让客户更直观地了解我们虚拟形象的能力和未来接入后的效果,我们将能力集成拟人为客户可以体验的Demo,通过人物Demo可体验自定义捏脸、全身形象、拍照生成和语音驱动4个主要能力,并将4个能力设计为独立入口,帮助客户能充分了解每个功能


虚拟人

。 Demo效果


设计沉淀 设计规范与著名模型客户接入文档建模


探路的工作进行到一定阶段,我们百科将整个虚拟形象的制作流程和注意事项整理成规范文档,方便更多的同学参与进来,也作为我们的客户未来使用自己的虚拟形象接入时的指引


虚拟人

。 设计规范沉淀


标准化拓客材料


为更直观地表设计达技术能力,我们参与了虚拟形象产品对内培训、对外宣讲和PR的材料设计,帮助业务拓客,标准化表达了实时面部驱动、面部捕捉点位、虚拟形象应用场景等


虚拟人

。 写在最后


我们在虚拟人的设计探索中遇到了很多未知的挑战,设计师需要快速探索学习和敢于尝试,需要学会“脸皮厚点”,虚拟人算法,抓住大神多多讨教


虚拟人

。面对技术卡点,要对齐短期教程目标著名,有所取舍,保证项目推进。未来我们将继续优化素材性能,拓展更多应用场景,希望大家多多支持~ 关注


全部评论(0)
资讯详情页最新发布上方横幅
推荐阅读
  • 影优尽优如何获取激活码
  • 影优尽优如何获取激活码
  • 影优尽优邀请码:33388800绿幕直播影优尽优是一种创新的直播方式,它结合了绿幕技术和直播功能,为用户提供了更加丰富、灵活的直播体验。以下是对绿幕直播影优尽优的详细介绍:
  • 直播知识
  • 来源:AI数字人
  • 编辑:酷虎软件
  • 时间:2024-09-17 16:14
  • 阅读:104
  • AI数字人wav2lip、musetalk那个效果好?
  • AI数字人wav2lip、musetalk那个效果好?
  • 数字人wav2lipWav2Lip是一种基于嘴唇同步训练的语音音频到视频转换技术,可以将音频中的语音转换为逼真的口型动画。开源:开源效果:一搬推荐:★★★数字人musetalkMuseTalk是一种基于神经网络的语音合成技术,可以通过少量的样本数据训练出逼真的语音合成模型。技术可以用于智能助理、虚拟主播、机器人等领域,提供更加自然流畅的语音交互体验。开源:开源付费效果:很好推荐:★★★★★使用musetalk技术的数字人客户端软件使用教
  • 数字人
  • 来源:AI数字人
  • 编辑:酷虎软件
  • 时间:2024-09-12 10:45
  • 阅读:117
  • 铲哥批量剪辑神器教程
  • 铲哥批量剪辑神器教程
  • 铲哥批量剪辑神器教程第一步:下载 铲哥批量剪辑神器链接:https://pan.baidu.com/s/1gSa4ILJhHMBWI6A2bRBD4Q?pwd=qrjn 提取码:qrjn 复制这段内容后打开百度网盘手机App,操作更方便哦 --来自百度网盘超级会员v4的分享第二步:配音好微软云AZUREKEY即可使用配音剪辑功能【AZUREKEY可以淘宝购买】
  • 人工智能
  • 来源:ai剪辑
  • 编辑:酷虎软件
  • 时间:2024-08-31 17:48
  • 阅读:148
  • 微信小程序开通后需要备案吗?
  • 微信小程序开通后需要备案吗?
  • 根据2023年8月4日工信部发布的《工业和信息化部关于开展移动互联网应用程序备案工作的通知》,要求小程序和App一样,均需要在上架前统一备案,新开发的App和小程序,未完成备案的情况下之下,则不能投入使用。备案主要通过网络服务接入商,如阿里云、华为云、腾讯云等来完成,但已经做过ICP网址备案的,基本信息不用再填写,仅需针对App备案补充信息即可。根据《互联网信息服务管理办法》规定,提供互联网信息服务的网站、应用程序等,需要先进行备案才
  • 直播知识
  • 来源:文字转语音
  • 编辑:酷虎软件
  • 时间:2024-08-31 09:54
  • 阅读:117
  • ai配音专家使用教程
  • ai配音专家使用教程
  • ai配音专家配设置教程第一步、下载软件通过网盘分享的文件:配音TTS链接:https://pan.baidu.com/s/1jG1PRowMYHGsFk5rw5hy2A?pwd=k221 提取码:k221 --来自百度网盘超级会员v4的分享第二步、设置好KEY密钥第三步、如何免费试听配音模型
  • 配音
  • 来源:文字转语音
  • 编辑:酷虎软件
  • 时间:2024-08-26 17:39
  • 阅读:169
联系我们
微信Q Q:78784051
官方邮箱:admin#kuhusoft.com
工作时间:09:00 - 22:00
客服中心
销售客服 技术客服 作品入驻 全国热线

微信客服
公众号

关注微信公众号
返回顶部