本文来自微信公众号:AIGC研修社(ID:aigclab),作者:逗砂,原文标题:《Pika 1.0 正式版发布,五大功能逐帧分析》,题图来自:Pika
这个11月AI视频领域真是卷得不行,在继runway发布了他们的局部动画笔刷,Stability AI 开源了他们的AI视频模型后,另一边的Pika终于发布了他们的视频编辑器,并同时公布了他们获得了5000W美元的投资。
一篇关于Pika的福布斯的报道说明,Pika的联合创始人是两位斯坦福的计算机博士:CEO Demi Guo 和 CTO Chenlin Meng,挺难得的这次的明星创业团队是两位华人女性。
从小就渴望成为一名动画师的 Chenlin Meng 表示 Pika 的目标并不是为专业人士量身定制的,而是为了像他们这样更普通的人群,也能通过AI有视频制作的能力。目前的Pika还是免费,不过未来会推出订阅付费制。
回到正题,这次的Pika1.0发布了哪些功能?我们先来看他们的宣传片:
高质量文生视频
Pika之前早就预告了他们的高质量文生视频,在不久前runway也升级了他们的视频质量。但是目前就Pika的宣传片来看,Pika的生成质量远高于runway,文生视频其实最大的问题在于动画生成的清晰和连贯性,在之前runway的生成里,只能在微小的动作上保证视频的稳定性,一旦动作幅度增加就会产生不同程度的变形,但是目前Pika宣传片上展示了十分连贯的动画。
文生视频另外一个问题是语义理解的问题,目前的语义理解能力非常有限。但是Pika上展示了很优秀的语义理解能力,可以直接输入文字来生成不同内容和不同风格的AI视频。
图生视频
图生视频这里没有展示太多,只是提供了一个最后的晚餐图片生成视频的案例。不过之前Pika的图生视频就支持镜头控制,这个功能应该也会延续。
视频生视频
这Pika推出的视频生成视频也很惊艳,虽然runway和SD开源都有视频生成视频的功能,但是Pika的视频生成视频质量效果上比runway强,比SD更简单。这里展示的是一个骑马的黑白原视频,通过pika生成了各种风格的高质量视频动画。
局部修改视频内容
视频领域的inpainting。之前runway发布了局部动画笔刷,可以让静态图片的局部动起来。这次Pika更新的功能更加强大,可以直接修改视频中的局部内容。
修改视频尺寸
这个就是视频领域的outpainting了。这两个虽然在AI绘画里早就有了,但是目前Pika还是第一个把它用在视频领域的工具。
本文来自微信公众号:AIGC研修社(ID:aigclab),作者:逗砂