NVIDIA AI 自动生成 4K 慢动作影片,那画面太美我

2020-06-08

NVIDIA AI 自动生成 4K 慢动作影片,那画面太美我

慢动作是当今影视作品中经常用到的技术,他能更好地吸引观众,让人们看到正常速度下看不到的细节,带来视觉冲击;把人们更好地带入角色的脑海,传递情感。
随着技术进步,如今我们的手机也可以拍慢动作了。如果只是发个朋友圈、Instagram,iPhone 相机里的 Slow-Motion 绝对够用了!

但如果 想要拍专业级的慢动作呢?

你往往需要一台相当高端的相机。然而一般的慢镜头相机都是 1000fps(每秒帧数)起步,几千美金都是正常的;专业级则要到 3000fps 甚至更数万 fps,价格往往上万美元了。

并不是所有人都能成为 The Slow Mo Guys 啊……

上面图片就是来自 The Slow Mo Guys。看看, 用十几万刀的慢镜头相机拍出来的就是不一样……
慢镜头的原理就是用 高帧率拍摄,帧率越高,按照 60 或者 120fps 的正常帧率播放时就会显得越顺滑 。

相机本身帧率低,非要强行慢放,还要啥效果啊?

但如果非要呢?

隆重介绍英伟达最近发布的一个新技术:机器学习自动生成慢镜头:

NVIDIA AI 自动生成 4K 慢动作影片,那画面太美我
靠算法来实现的慢动作

传统的慢镜头,是因为相机真的拍到了那幺多帧的画面。

 

而相信你也看明白了,英伟达这个黑科技,并不需要那幺多帧:它是用算法给标準视频补充更多的帧,从而将其变成一段高帧率视频,也就有了慢动作。

这是什幺意思呢?用下面这张图来举例,比方说正常相机拍到的是下面那组的 10 帧,英伟达黑科技就是用计算「强行」生成额外的帧,插在已有的帧中间。

NVIDIA AI 自动生成 4K 慢动作影片,那画面太美我
这些新生成的画面,到底应该长什幺样,就全靠算法来模拟了。

过去也有类似的算法生成,效果并不好。但 NVIDA 已经发展出一项黑科技,叫做「可变长度多帧插值」(Variable-Length Multi-Frame Interpolation)。

它可以在标準影片的基础上,以令人难以想像的準确度,生成新的「假画面」,进而变成流畅且清晰的慢动作影片。 原始视频的帧率必须达到或高于 30fps。

最厉害的是,这个慢镜头,你想要多慢就可以多慢,比如可以变成 60fps,就是已有的每两帧之间多插一帧;也可以变成 900 帧,也就是每两帧之间多插 29 帧……

英伟达将这项技术形像地称为 :超级慢动作

NVIDIA AI 自动生成 4K 慢动作影片,那画面太美我
而且 NVIDIA 表示,这个算法在测试中「比已有的最顶尖效果都还要更好」。

比如下图中展示了六个同类的算法,可以看出前五个都有不同程度的画面畸变,f 的真实度最好,也正是英伟达的技术。

NVIDIA AI 自动生成 4K 慢动作影片,那画面太美我

 AI 脑补多少

这项所谓的 多帧插值技术,其实并不是什幺新鲜东西 。

如果你还记得小时候看电视,看球赛感觉特别顺畅、柔和的不像话,那幺恭喜你:你已经感受过一个名叫动态插值的技术了……

这是因为在很早以前,电视就有这个能力了,它可以对两帧画面进行一定程度的複制和演化,生成新的一帧,然后插进去。

英伟达的新算法也是两帧之间,但名字里「可变多帧」意思是 可以在任意两帧之间完成插值,其中插值和遮挡推理会在一个端对端的捲积神经网络上同时进行建模 。

比方说原视频的 1、2、3 帧,英伟达的黑科技可以在 1 和 3 之间新生成一个,跟真实的 2 帧进行比对,从而优化算法。

所有人都可以这样做,为什幺英伟达赢了?答案是显而易见的:他们坐拥着 大量的显卡……
在训练算法过程中,英伟达使用了 Tesla V100 GPU,以及改良后的 PyTorch 深度学习框架。英伟达共使用了 1132 段视频,共 37.6 万独立视频帧数。

为了更直观的展现自己的成果,英伟达还真和 The Slow Mo Guys 合作了。开头的视频里展示了英伟达用他们发在网上的慢镜头视频进一步生成的「更慢镜头」视频,效果可以说相当惊人了。

NVIDIA AI 自动生成 4K 慢动作影片,那画面太美我
AI 的这次突破背后更重要的是,它让慢动作製作有了摆脱硬体约束的可能。

NVIDIA 在论文中表示,他们希望未来通过云端完成大部分处理过程,进而让这项技术能 普及大众 。

这句话的意思是:以后你可以在手机上随便拍拍, app 自动给你做出超慢镜头……

是不是很值得期待?

只不过到那时,我们可能又要遇到另一个问题:

当影片里面一大半的帧都是 AI 强行「瞎编」出来的,那还算的上是真实的影片吗?

——

上一篇:
下一篇:
扩展阅读