在高清人脸数据集FFHQ上,CIPS-3D的表现可以说非常nice,连古典画都能变成立体版。
当然也能搞定不同动物的face。
看到图像从2D直接变成3D,可能有人已经想到了谷歌大名鼎鼎的NeRF。
它只需要输入少量静态图片,就能做到多视角的逼真3D效果。
而这次的CIPS-3D,也是基于NeRF开发。
它主要用到了两个网络:NeRF和INR(隐式神经表示法,Implicit Neural Representations)。
浅层是NeRF,它主要负责把人像从2D变为3D。
它将场景的体积表示优化为向量函数,输入为3D位置坐标和视图方向。
具体而言,就是沿相机射线采样信息,来合成图像。