前段时间,在runway的新模型和画大饼的sora都迟迟没有发布的情况下,luma的出现让AI创作者们玩出了花。一时间,各种表情包的魔改让大家玩梗玩出了新境界。

以下是我看到的一些群友们的一些脑洞创作,真是笑死我了,不能让我一个人辣眼睛,发给大家看看~

图片
图片
图片

看完这些图,我的心情真的就是老爷爷地铁看手机了。本以为事情就到此为止,没想到可灵的图生视频又发布了。

在此之前,可灵只发布了文生视频的功能,我曾经用它创作过一篇——AI视频《四川人真的可以领养大熊猫了》,中国sora「可灵」抢先体验!

在这个创作过程中,我发现大部分情况下,可灵的出图还是偏纪实类的,场景很生活化,所以艺术性的表达会有缺失。但是图生视频出来后,一切就不一样了。

先来看看群友们的脑洞吧,比起之前是有过之而无不及。

图片
图片
图片

不仅仅是表情包,连名画都开始焕发出了新的生命力,感觉要兴起一波解构主义的新浪潮了。

好了,我们书归正传,今天要聊的就是我用可灵的图生视频创作的一个小短片。因为图生视频的出现,让AI视频有了电影的质感,不再是略显苍白的纪实影像。

这个主题源自野神殿和WayToAGI联合举办的VB生成式视频挑战大赛,第12期的题目——“不安”。时长限制在三十秒以内,所以是一个需要在短时间内反转的故事。我又不太想做成恐怖片的类型,当时脑海中浮现出来的第一个东西就是我以前看过的一篇小说,它是由美国作家弗里蒂克布朗所写的世界上最短的科幻小说,名字叫《最后一个人》。这篇小说一共只有十七个单词,原文为“The last man on earth sat alone in a room. There was a knock on the door....",把它翻译成汉语,也只有25个汉字:地球上最后一个人独自坐在房间里,这时,忽然响起了敲门声……

人物、情节、环境,并且留给了人足够的想象空间。门的后面会是谁呢?这种不安感来源于一种未知,一种孤独,一种末日的氛围。于是,我决定把这个故事用AI视频的方式呈现出来。

先看片子,再分析。

图片

#01

脚本创作


大概的故事内容有了,第一步就是要扩写为一个30秒的视频梗概,我使用了kimi帮我编写。

我将故事大纲丰富了一下,需要一些更具体的环境和行为描写。这样梳理好逻辑之后,我将如下提示词发给了kimi:

我提供给你一个大概的思路,你帮我优化一下:一个男人在戴着耳机听音乐,在家里度过一个宁静的早上,突然有人敲门,仿佛把男人从梦里惊醒,实际上男人只是孤独的生活在一个荒漠化的星球上。

图片

kimi写完这一稿之后,我发现它一开始就交代了男人是生活在一个末世之中。但是我其实想把反转留在最后,所以前面要引导观众以为男人是生活在一个很舒适的地方,最后开门反转,发现一切都是男人的幻想,其实他是这个末日般地球上的最后一个人。

于是我让kimi做如下修改:

剧本的开场不需要让观众知道主角在荒漠星球上,为后面制造反转做铺垫。

图片

故事差不多之后,接下来就是创作分镜脚本,详细的帮我拆解每个画面。

提示词如下:

帮我把这段故事梗概制作成分镜脚本,包含镜号,画面内容,景别,镜头,并用表格展示。

图片

#02

分镜创作


接下来就是根据文字分镜出图了,使用的还是老朋友Midjourney。

The man was sitting on the couch, wearing headphones --ar 16:9 --s 750 --v 6.0

生成的四张图中,我一下就相中了第四张。

图片

冷暖对比、大光圈背景虚化,忧郁的眼神,电影感一下就有了。

图片

接着用这张图去生成一个闭眼的状态,因为我希望主角是听到敲门声后才睁开眼睛,也能表达一种将他从梦中唤醒的隐喻。

图片

接下来就是使用这张图作为风格引导,来保证整个视频都是同一种基调。

Room at night, an old record player on the table, fireplace, movie atmosphere, Inception, three-quarter compositions --ar 16:9 --s 150 --v 6.0 --no windows --sref https://s.mj.run/EyzjFWFuPLo

图片
图片
图片
图片
图片
图片

最后是结尾的反转,我希望男人打开门之后,看到的还是他幻想的世界,代表着他还并没有接受事实。然后等他关门之后,场景切换为真实的画面,一个末日般的荒漠地球。

这个灵感其实来源于《爱死亡机器人》中的一个短篇——《天鹰座裂隙之外》,故事的结尾就是用了同状态的一个转场来揭露出事情的真相。

图片
图片

所以我首先在mj中做了一张荒漠之中一个孤独小屋的图片。

There's a lonely little house on a planet covered in yellow sand, wide-angle shots, apocalyptic atmosphere, game CG --ar 16:9 --s 750 --v 6.0

图片

然后在即梦中使用景深参考,创作了一幅相同构图的梦幻般的小屋。

图片

在这两张图片对比之下,残酷的真相就揭露出来了。

图片

最终,画面定格在一个孤独荒凉的远方。end~

图片

#03

图生视频


视频生成的部分主要用到的是runway和可灵。

runway主要用来表达一些静态的镜头位移,比如人物专注的表情和敲门的镜头推进,来营造紧张的氛围。

图片
图片

而可灵的作用,主要是用来制作大幅度的动作。这里不得不提一句,可灵可真是太厉害了,它的出现打破了以往ai视频的4秒ppt格局,直接让画面有了流畅的动作。

图片

比如这一段小心翼翼开门的视频,演员的神态、动作,表演得可太到位了。在sora没出来之前,先给可灵封个神。

图片

#04

剪辑


全部视频生成好之后,剩下的就是剪辑了。

我的习惯会是先找音乐,因为音乐会影响到画面的节奏。而我又不想把氛围搞成悬疑恐怖的样子,我感觉直接用音效来营造恐怖氛围不是很高级。所以我选了一首比较舒缓的音乐,刚好也是男主耳机里在听的音乐。来自Max Richter的纯音乐作品《On the Nature of Daylight》,可以翻译为“追寻日光的真谛”,又可以理解为“真相大白”,很符合本片的一个寓意。

我截取了其中的一小段,然后配合音效搭完了整个剪辑,所有的音效都是来自剪映。不得不说,用起来还是非常方便的。

图片

这个故事到了结尾,我又仔细地想了想,到底哪个才是真实的世界呢?对于男主角来说,世界是末日还是乌托邦好像已经不重要了,重要的是,他相信的到底是什么,他所相信的东西决定了他会以什么样的状态去生活,也许直面惨淡的人生也未必是最好的选择。
很多人焦虑,是因为脑海中有不安的种子在萌芽。他们往往只记得自己生活在一座孤岛上,却忘了心中还有一颗美丽的星球。而我,来当你的敲门人。
咚、咚、咚……-END-