虚拟主播零门槛?MetaHuman在UE4中的面部捕捉

文章 此情可待成追忆
2021-4-28 17:45 156人浏览 0人回复
Hello . 大家好
今天我们来试试用MetaHuman做个虚拟主播
过年期间Epic一个MetaHuman的演示视频让大家心潮澎湃。最近,MetaHuman终于开放测试了,今天这篇文章我们从MetaHuman的测试申请,一直到导入UE4进行面部捕捉进行一个流程梳理。
 
            需求:
        一台有深度相机的Iphone
        一台能上网并且能运行UE4的电脑
        电脑和手机处在同一局域网

1
MetaHuman
  
Metahuman申请地址:
https://www.unrealengine.com/zh-CN/metahuman-creator
 
提交资料后会收到一封确认邮件,然后就是耐心的等待通过了。一般来说1~2天就可以通过。


收到通过邮件后,从邮件里可以直接前往MetaHuman的主界面。没错MetaHuman是个云应用,你的电脑可以不够强大,但是你的网得够好,链接不顺畅的时候会自动降低显示分辨率,视图操作也会非常卡顿,对体验影响还是挺大的。
 
界面非常简单,大家自己摸索一下几分钟就可以上手了。


值得提醒大家的是混合模式里,把选中的预设拖到上面的圆环中,再到你的角色里操作顶点,朝相应的方向移动就是让你的角色的该部位更贴合预设的样子。再就是造型模式下操作顶点,按住Ctrl+鼠标左键可以前后移动特征点,Shift+鼠标左键是重置(左边快捷键都有提示)。


对于造型的限制还是比较大的,更像游戏的捏脸,特征点的调节范围有限,所以基本上做不出很夸张的角色。
 
MetaHuman是实时保存的,捏完后给角色起好名字就可以把网页关了。

2
下载和导出
 
然后打开bridge,就是megascans的那个bridge,升级到最新版后分类列表里新增了MetaHumans,其中MetaHumans Presets里是官方给到的58个预设,下面的My MetaHumans中就是我们自己在编辑器里创造的角色了。还没有拿到测试资格的可以先用官方预设尝试一下。
 


选中角色后先下载,这时候打开UE4工程,如果之前没用过Bridge的话记得要先装插件。点击下载/导出按钮左边的小齿轮,选择Export Settings,在弹出的页面中设置好引擎版本和引擎的插件目录,DefualtProject可以留空。插件装好的话就可以直接导出了。
 




切到UE4里,等待导入完成。


导入完成后Content目录下新增了一个MetaHumans目录,里面是按照角色名字命名的文件夹,再往里BP_角色名就是生成的MetaHuman了。


 
3
面捕设置
  
下面进行面捕相关的设置:

首先是手机,Appstore里下载Live Link Face这个APP。


开启APP后点击左上角的小齿轮进入设置,进入Live Link,添加一个目标,IP地址就是运行UE4的电脑的IP,再提醒一下手机和电脑要在同一局域网。


另外要打开“流送头部旋转”才可以捕捉头的旋转。
 



然后回到UE4中,开启Apple ARKit和Live Link的相关插件。



重启项目后从window菜单中打开Live Link窗口,全部设置正确的话在这里就可以看到手机的名字了。

 
把MetaHuman角色蓝图放到场景中,属性栏里Default下,LLink Face Subj在下拉列表中选择手机的名字,然后勾选下面的LLink Face Head开启头部追踪。


运行场景,就可以开始面捕了。配合Take Recorder就可以进行动画录制,制作视频了。
 
试用下来,MetaHuman的确让数字人类的制作门槛变得很低了,但是一方面角色创造的限制比较大,另一方面生成的角色面捕的表情识别也还有很大的提高空间,想要做得更自然,表情更丰富,还需要自己进行更多Morph细节的调整。但是毕竟现在还在测试阶段,期待Epic把它做得更加完善和开放。


- End -

路过

雷人

握手

鲜花

鸡蛋

最新评论

相关分类
热门教程
返回顶部
客服