试了Runway新模型,我觉得OpenAI的Sora真的危险了
试了试 Runway 的新模型,围观者皆是欢呼雀跃的声音,各种镜头让人分不清是虚拟还是现实。Runway 的图文视频生成能力究竟如何,让我们来一探究竟吧。
在今天的文章开始之前,知危编辑部想先郑重地喊话一下 Sora:哥们,再不开放测试,这饭可就真捂臭了。因为就在今天,万众瞩目的 Runway 终于全面开放了 Gen3 版本。这个全新一代版本的生成视频长度,已经从原先的 4s 飞跃到了 10s。
随手翻一翻评论,你会发现全是欢呼雀跃的声音,有的围观者直接甩出狠话:这就是现在最好的视频 AI。
从 Runway 这条官方推文里给出的例子来看,Gen3 版本的效果确实让人眼前一亮。各种镜头调度、高清的皮肤纹理、自然的人物动作,试问这下谁还能分清虚拟和现实?
看到这,让人不禁替隔壁还没开放迹象的 Sora 捏把汗。因为,在文生视频领域,大家都在争先恐后地甩狠货出来。从 Pika,到 Luma,再到前段时间在海外大杀四方的快手可灵 AI。
此前老外为了寻求快手可灵 AI 的测试资格甚至会用中文打出 “ 求求你了 ”这次 Runway Gen3 的全面开放,算是把大家的注意力,从可灵那边拉回来了一点。
由于 Sora 尚不能测试,这次知危编辑部就拿快手可灵 AI 这个受到国内外广泛认可的文生视频模型与 Runway Gen3 进行比较,大家可以借此看出 Runway Gen3 的效果。
测试前我们先说明一下,可灵 AI 由于出自快手之手,所以特别擅长与吃相关的画面。而 Runway3 则是重点宣传自己的真实感、想象力以及有很好的镜头审美。大家可以带着两家的特点进行观看。
首先,我们从 Runway Gen3 这个新选手的拿手项目入手,给了可以发挥电影感的关键句:一个孤独的人在酒吧里喝饮料。
( 提示词:Static, locked-off shot, Harsh, neon lights, A solitary figure sitting at a bar, Sipping a drink, staring into space, A crowded, dimly lit bar, Lonely, melancholic )还没比出结果,Runway 就在生成时长上小胜一筹了。因为可灵生成 5s 的内容,要花几分钟。
但 Runway 一分钟不到,就做出可灵一倍时长的视频。而且,别看它用时短,快功反而出细活。镜头拉近之后,男人侧身并且睁开眼,一系列的镜头调度,妥妥的百万制作。如果不是张嘴的特写有些不自然,说它是某部好莱坞电影的片段,肯定能忽悠到不少人。
Runway Gen3↓
不过,作为征服过老外的存在,可灵 AI 生成效果也完全不逊色,而且,主角低头看杯子的神情,完美贴合了【 孤独 】的设定。
可灵 AI ↓
既然没分出胜负,那咱们再比一轮,这次给的关键句是:消防员在火场灭火的戏剧感。
( 提示词:Silhouette shot,Fiery flames of a burning building, A firefighter battling the blaze, Spraying water, rescuing people,A burning building in the night, Dramatic, heroic )
到这局,Runway Gen3 的优势就表现得特别明显了。人物剪影的镜头处理,和橘色的调色,让整个画面庄严又热血。
Runway Gen3 ↓
可灵虽然生成内容依然没有问题,人物动作也都很逼真。可是画面处理上有点随意,很像热无意中路过火场的热心市民,拿手机随手录的。很真实,但是确实镜头美感没有 Runway 好。
可灵 AI ↓
既然第一轮可灵略逊一筹,那现在让我们调转主场,来到可灵的主场:吃播。不过,测到这里的时候,出了点小插曲。知危编辑部发现 Runway 变强了,但审查也变严了。
我本来想试试经典老番,把威尔史密斯先生请出山,让他为我们再嗦一次面条。结果却被遗憾告知【 此内容已被标记 】。不仅是名人,连皮克斯动画,都被列为了禁止。
没办法,咱们只能换个题,改做 “ 一个男人在吃面条 ”。
( 提示词:Warm, inviting lighting, A person with a focused expression, Using chopsticks or a fork to skillfully slurp up the noodles, A casual dining environment, Enjoyable, satisfying )
到了主场的可灵 AI,果然稳定发挥,所向披靡。效果比我第一次测试还要逼真,感觉面条的热气,都飘到我的脸上了。
可灵 AI ↓
到了 Rumway 这边,果然犯了 AI 的老毛病,出现了面条瞬移,嘴巴错位的问题。不过其实效果也进步很大了,起码知道用筷子,只可惜遇到了可灵这个吃播王者。Runway Gen3 ↓
试完吃播之后,知危编辑部还玩了很多其他肢体动作的题。甚至让它们画一些现实中根本不存在的事情,比如:让一只羊来骑自行车。
( 提示词:Playful POV shot, following the sheep as it rides, Warm, sunny day, A fluffy white sheep perched atop a vintage bicycle, Pedaling enthusiastically, weaving through the countryside,A winding country road lined with wildflowers, Whimsical, joyful )
实是两边效果都很不错,两只羊都蹬得相当卖力。
Runway Gen3 ↓
可灵 AI ↓
只不过,知危编辑部测得越多,就越发现一个事。那就是:再强的视频 AI,现在也攻克不了现实物理引擎。比如我让它们给我打个篮球。
( 提示词:Dynamic tracking shot, following the man’s movement, High-contrast lighting with a spotlight on the basketball, Subject A young man in stylish black overalls, Dribbling the basketball with flair and precision, An outdoor basketball court with vibrant graffiti art, Energetic )Runway 出现了虚空拍球,和脚下运篮。让人分不清打的是篮球,还是足球。
( 踢篮球可能是语义理解的原因,因为 “ Dribbling ” 也就是 “ 运球 ” 这个词机既可以用在足球上也可以用在篮球上,AI 应该没能区分理解 )
Runway Gen3 ↓
到了可灵 AI 这边,画面就更诡异了。扔出去的篮球原地分身,人也长出第三只手。
可灵 AI ↓
篮球起码还能保证基本动作是对的,但到了碰撞、翻滚之类的处理,两边就抽象得都高度一致了,比如这个谁也摔不破的鸡蛋。( 提示词:The egg fell from the table and broke on the ground,Slow-motion, close-up shot, Natural light from a window, Suspenseful, anticipation building)
Runway Gen3 ↓
可灵 AI ↓
虽然都有不足,但总体体验下来,Ruwnay3 基本还是强于了正当红的可灵 AI。在大部分情况下,能做到了官方宣传的:够真、够快、够稳定,再加上时长这个加分项,这使得不管你有再多天马行空的想象,它都还你一个高质量的结果。真的让观者觉得,现实和虚拟的界限又模糊了一点。
( 提示词:Navigating through a dense jungle and stumbling upon an ancient, glowing interdimensional portal, science fiction, pov. The air is thick with mystery and the sounds of exotic wildlife. As you approach, the portal pulses with an eerie light, drawing you closer to its otherworldly energy. )
Runway Gen3 ↓
不过,先别急着替 Runway 欢呼,因为这场比赛到这里还没有结束。除了效果之外,AI 领域还有一个绕不开的问题,就是:商业化。之前知危编辑部就介绍过,根据国内厂商的测算,一个两分钟左右的视频,少说得砸进去 180 块。。
无底洞的高消耗,使得大家的视频生成,大多都卡在 5s 左右。甚至很多家的生成效果还很抽象,完全没有大语言模型出现后,遍地开花的盛况。Runway Gen3 这次虽然突破到了 10s 的关卡,但相应的就是消费者的费用变高。
相比于上一代,我们掏的钱几乎是翻倍了。如果按照月包套餐计算,基础会员 15 刀每月,购买者只能拿到 625 的积分。而 Runway3 生成一秒钟,就要消耗 10 个积分,换算下来,一条 10s 的视频价值 2.4 刀,约合人民币 17 块。
大家可以计算一下,光是本文文章里展示的这些案例,总共要花掉多少钱。这件事谁也没办法阻止,因为这是大势所趋,盈利是摆在所有 AI 大模型面前的问题。
所以,虽然 Runway3 实力很强,赢了比赛。依然不得不承认,完全免费的可灵才更有吸引力。至于 Sora,我们已经有一种开始祛魅的感觉了,在用不到之前,都只是美丽的梦幻泡影,0 分。
本文由人人都是产品经理作者【汪仔2083】,微信公众号:【知危】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
sora就是造假的。。。。