浅谈当前的AI剪辑工具
随着AI技术的不断进步,其在视频制作领域的应用也日益广泛。本文将探讨当前AI在视频制作中的应用,包括视频分析、素材搜索匹配、视频生成和剪辑工具等方面。同时,也将对比几家主要的AI剪辑工具厂商的产品特点和发展思路,为读者提供对AI在视频制作领域应用的全面了解。
半年前,我写了篇文章——《浅淡游戏行业当前的AI视频工具》,将视频制作流程分成了寻找灵感、制作草稿、收集素材、剪辑成稿。
其中需要的AI视频能力分为了以下4类方向。
- 视频分析:利用人工智能的分析和理解能力,提炼出美术设计所关注的核心信息,将大量缩成关键要点,从而提高寻找灵感的效率。
- 素材搜索匹配:基于视频分析的AI技术,通过对素材库中的视频进行分析、解构和标记,再根据用户提供的关键词匹配最适合的视频内容,提高视频类资源制作的效率。
- 视频生成:基于生成式AI技术,能够通过文本和图像内容生成视频内容。
- 剪辑工具类:辅助视频资源的制作,提高制作效率。
而最近在“视频生成”方向,各家“视频生成”厂商接连内卷,先是快手可灵公布,然后是Luma公布,紧接着Runway公布了Gen3模型。用户能够在“没有素材”或者“仅有图片素材”时,使用这些工具进行“文生视频”、“图生视频”生成视频素材,随着行业的发展,当前“视频生成”也已发展到“抽多几次还勉强能用”的阶段。加上目前各家视频生成能力平均成本为几毛钱/1s,也就意味着平均几块钱能生成一个能用于生产的视频素材片段,相比以前“将静态图片变成动态”的“K帧”动作“1人1天的工作量”成本,AI现在已经能在某些场景下起到替代人力的作用了。
但是,这只是理想情况,在实际的业务中,AI视频生成还是存在诸多问题的。
在和业务同事访谈时,问到“如何看待当前AI视频生成能力时”,业务同事是这样表示的,“偶尔抽多几次,能抽到自己想要的东西。但有时候还是抽到想砸电脑,生成的东西总差点意思,想改又改不了。”
以下几个例子,或许能帮助大家更直观地认知。
可见,虽然AI能生成视频片段素材,但是存在“指令识别不准”、“无法修改”、“模糊”、“主体不一致”、“物理运动BUG”等问题。这导致“视频生成”仅仅能在“视频质量”要求较低的场景发挥作用。对于像是高精度的视频诉求,AI无法满足。
那么,像是“视频分析、素材搜索匹配、剪辑工具类”的发展情况如何呢?这些能力或多或少有在目前的AI剪辑工具上有体现,因此我特地研究了几家AI剪辑相关的厂商的产品,下面我浅浅盘下。各AI剪辑厂商的发展情况
由于认知和精力有限,仅仅选取了几个个人接触较多的AI剪辑工具。
01 剪映
提到AI剪辑,第一个肯定是字节旗下的剪映。背靠字节的大模型底层能力、抖音系视频生态提供的庞大剪辑需求量、多年的产品积累,剪映是所有AI工具中较为突出的那一个。下面我盘点下其部分部分AI能力。
1. 营销成片
该功能可以基于输入视频素材片段和文案生成,对画面内容进行分析并裁剪,匹配最合适的视频片段进行混剪视频,然后加上BGM、字幕、配音,并支持导出与继续编辑。
其中文案支持AI生成,用户只需要提供产品名称和相关的属性,AI便能生成多个文案供用户挑选。但个人觉得这个功能只能用于辅助激发创意,AI生成的结果往往不能直接使用,或者说生成的效果比较差。
选择好文案后,AI会生成多个结果供用户挑选,用户可选中需要的内容进行继续编辑或者直接导出。
体验下来,个人觉得这功能有点别扭,可能只能满足非企业用户(ToC)和成片质量较低的企业用户(ToB)的需求。(不是说功能不好,因为我是B端用户,不满足我的需求。)
“营销成片”这个功能,很明显是面向企业用户(ToB)的。企业会需要在批量产生视频素材的时候需要这类功能,那么企业的核心诉求是“较低成本产出符合业务最低限度诉求的大批量素材”,其中的要点是“低成本”、“符合业务最低限度诉求”、“大批量”。
剪映的“营销成片”这里有个问题,在生成时可配置的内容太少了,比如混剪逻辑、字体颜色、BGM这些内容都无法配置,用户只能按AI识别的内容获得生成的结果,这是个不可控的“黑盒”。对非企业用户(ToC)来说,这是个很好的功能,他能降低使用门槛。但是对企业用户(ToB)来说,这些不能配置的内容会降低AI成品的质量,导致不符合“业务最低限度诉求”。假设业务需要按音乐节拍混剪、字体使用制定字体、配音需要使用不那么呆AI配音,那么现在的“营销成片”便无法满足,需要人力额外花费时间修改。
所以ToB是最好能够提供配置能力,在一开始预设好该配置的参数,然后提交生成任务给计算机,人力就释放出来去干其他事情了。而不是让人力守在电脑前,一个个审核,然后去一个个编辑。如果用户有精力一个个编辑修改,还不如从一开始就自己混剪,批量混剪一批视频,也才几个小时的工作量,都能和一个个编辑修改持平了。
对于成片质量要求较高的企业用户来说,AI的“高黑盒程度”导致AI成片无法满足“符合业务最低限度诉求”,因此需要额外的人力成本进行修正,所以也无法满足“低成本”和“大批量”的需求了。
2. 智能裁剪
该功能可以识别视频人物主体位置,从而修改视频的运镜,保证人物主体在中心位置。这适用于运镜较多的人物视频,用于跟踪人物主体。
视频片段来自于B站主页推荐的up“芋圆有点甜-”
3. 图文成片
“图文成片”这个功能有点和“营销成片”类似,但是生成的是图片拼成的视频,而且更多面向于非企业用户(ToC)。
该功能也是基于AI生成或者自己撰写的脚本文案,再选上合适的AI音色,最后选择自行上传素材匹配 或是 交给剪映智能识别匹配。剪映匹配的内容支持表情包和素材,这明显是给非企业用户生成娱乐向内容用的。
尝试了下,剪映匹配的素材能一定程度上匹配文本内容,给到对应的图片素材。我试了下生成绝区零的宣传视频,结果生成的静态图片素材带有水印,多少有点尴尬。
而试了下生成螺蛳粉的宣传视频,其中也出现了不知名品牌的片段。
这说明这里的图文成片所匹配的素材库,多少有点版权相关的风险,所以这项能力并不能用于企业用户(ToB)的设计场景,还需要等图片素材库和AI匹配算法再发展一会儿。
而且如果要企业用户(ToB)使用,这项能力和“营销成片”存在同样的问题,其可配置的内容太少了,AI的“高黑盒程度”导致AI成片无法满足“符合业务最低限度诉求”,因此需要额外的人力成本进行修正,所以也无法企业用户(ToB)满足“低成本”和“大批量”的需求了。
4. 视频翻译
这项能力可以在用户上传本人视频的时候,将用户口播的内容翻译成指定语言,并将口型转换成对应语言的口型。在上传视频时候,需要进行本人认证,所以导致无法使用他人的视频,避免直接搬运他人的视频翻译后上传到别的网络。
目前功能仅支持6种语言,而且转换口型之后,在人物动作幅度或者角度不正的时候,嘴部有一些明显的瑕疵。(有点好奇,后续剪映上线某些较长的语种的时候,会采用怎么样的翻译方案。)
5. 编辑器中的能力
剪映除了上面提到的AI功能,在视频编辑器中也融入了AI能力,用于辅助视频生产者提效。
这里涉及到的功能很多,比如生成文本、文本生成配音、识别字幕、识别音乐、镜头分割、人生分离,就不一一赘述了。
02 即创
即创是巨量引擎旗下的“一站式智能创意生产与管理平台”,用于帮助企业用户在营销场景下提供AI帮助的。相比起剪映,即创的能力直接面向企业用户(ToB)。
其中的AI工具有视频创作、图文创作、直播创作模块,而视频创作相关的仅有“智能成片”和“AI视频脚本”。
1. 智能成片
该功能通过添加脚本、音乐、口播等配置能力,利用AI生成多个版本的成片视频。为了方便入门用户和高度自定义用户,即创还提供了“一键成片”和“高阶成片”模式。
“一键成片”和前面提到的剪映的“营销成片”一样,可控制的元素太少了(混剪逻辑、BGM、声音等都不可控),只能满足成片质量较低的企业用户(ToB)的需求。而且相比起剪映,即创还无法二次修改,AI生成错误的内容,想救也救不了。
比如下面的案例,即创会识别脚本中的关键文案,然后生成一些奇怪的特效。关键是这个特效抓得也不准,在成品中意义不明,也无法去掉。
“高阶成片”在“一键成片”的基础上增加了视频前后贴、数字人、配音、音乐、字幕等的自定义选项,这较大程度上解决了“一键成片”和剪映的“营销成片”的问题,使得企业用户能“较低成本产出符合业务最低限度诉求的大批量素材”。
2. AI视频脚本
该功能分为“脚本生成”和“脚本裂变”。
“脚本生成”是基于输入的信息,利用AI生成脚本文案,支持跳转到“智能成片”中进行快速生成。
就是个人感觉AI生成的脚本,估计只能满足成片质量较低的企业用户(ToB)的需求。
“脚本裂变”则是基于已有的脚本进行派生,用AI模仿已有脚本批量生成更多的脚本。相对来说,“脚本裂变”生成的效果会相对更好,因为等于进行了提示词工程,减少了AI发散的情况。
3. AI灵感
AI灵感功能会根据用户当前主体下,历史触达人群、售卖商品、素材偏好、品牌调性、营销偏好等多维历史信息为用户推荐素材内容,以便激发用户灵感创作。其中AI灵感功能便捷地提供了素材投放数据、视频要点拆解和一键生成类似脚本的能力,方便用户进行创作。
03 智能创作云
智能创作云是火山引擎旗下的AI剪辑工具,也是一款面向企业用户(ToB)的AI剪辑工具。其中涵盖的能力有视频混剪、智能脚本工具、自动剪辑成片、视频拆条、视频编辑器、视频裁剪、虚拟背景、智能配音、添加品牌等。
由于能力有点多,下面挑一些重点来讲解。
1. 视频混剪
该能力可对目标混剪素材进行分组,并对每组素材进行排列/组合+内容算法的智能拼接。根据多素材进行视频混剪,裂变出更多视频。适用于矩阵号投放场景,大幅降低营销成本,迅速起号转化。
相比起剪映和即创的能力,智能创作云的配置项更多,能力更抽象,能满足更多B端业务场景。比如其支持按镜头组设置混剪,而不像剪映和即创完全依赖AI进行视频编排。
2. 自动剪辑成片
自动剪辑成片支持用户自定义导入图片/视频素材一键生成精美视频,提供卡点、运镜、动画、特效等多种视频效果元素,降低创作门槛,赋能创作表达。
但是测试了下,成品效果比较一般,里面由AI控制的部分太多了。
3. 其余能力
剩下这些能力就简单文字概况下好了,和剪映、即创的能力有所重合。
- 视频编辑器:类似于剪映的视频编辑器,提供包含音视频裁剪、文字、特效、滤镜、贴纸、转场、字幕、配乐等常用能力。
- 视频裁剪:可更改视频尺寸,并在部分有主体的视频中,识别主体位置(类似于剪映的“智能裁剪”能力)。
- 视频拆条:可以结合视频内容进行拆分,可将长视频分成多个短视频。
- 智能配音:将输入的文字转化为智能虚拟人声配音,并支持添加背景音乐,生成MP3或WAV格式的音频。
04 其他AI剪辑工具
除了上面提到的剪映、即创、智能创作云,AI剪辑工具还有很多,比如:汇量科技的playturbo、美图的奇觅、网易的见外工作室、筷子科技……
05 AI剪辑工具的发展思路
我们可以整体发现,各家AI剪辑工具厂家提供的能力,其实和剪映、即创、智能创作云的大同小异。而且,个人觉得大体的功能建设思路差不多,都是:
- 结合业务流程提供AI能力支持,积累AI单点能力。
- 结合高频需求串联多个AI单点能力,构建工作流能力。
“结合业务流程提供AI能力支持,积累AI单点能力”这个很好理解。
工具类产品目的是在业务流程上提供“使能”与“提效”的辅助。但是直接给整个业务流程进行辅助难度很大。所以我们需要“把复杂的问题简单化”。我们可以将业务流程拆解成多个核心环节,同时拆解出每个核心环节所需的能力,并基于这些能力需求提供AI单点能力。相比起直接提供面向整个流程的能力,基于单点诉求提供AI支持反而很简单。因此这种基于业务流程提供AI单点能力支持是很好的AI功能切入点。
视频制作的业务流程可分为“寻找灵感、制作草稿、收集素材、剪辑成稿”这四个阶段。
- 寻找灵感:该环节重点是知道要做一个怎么的视频,这个视频需要达到什么样的目的,并构思其题材、内容、音乐、字幕等相关内容。因此能激发创作者灵感的功能都可视为该环节的内容,比如即创的“灵感库”。
- 制作草稿:将灵感构思落地成脚本稿或者分镜稿,形成视频的主体框架大纲,并与相关的业务人员进行确认与核对。利用AI生成脚本稿的功能属于该环节,比如即创的“AI视频脚本”、剪映“营销成片”中的AI生成脚本稿能力。
- 收集素材:该环节需要收集用于成片的素材内容,包括但不限于图片、视频片段、特效、配音、字幕、BGM等等。其中AI生成的图片、视频工具都属于该环节。
- 剪辑成稿:基于收集到的素材,基于大纲进行剪辑,从而输出成品稿。剪映的各项视频剪辑工具就属于该环节。
如下图,基本上AI剪辑工具都能对应上一个环节。
基于这四个阶段的能力建设,各家厂商还会提供将多个流程串联起来的自动化能力。这便是前面提到的“结合高频需求串联多个AI能力,构建工作流能力”思路。
比如各家厂商都有将“制作草稿、收集素材、剪辑成稿”三个环节串联起来,提供一键生成成品的能力。
如果AI生成的成品准确度够高,那么用户只需要收集到灵感,就可以快速走完“制作草稿、收集素材、剪辑成稿”三个环节,大批量低成本地生成符合需求的视频内容了。
因为单点AI能力的辅助提升是有限的,用户一般在实际的业务中会使用到多个单点能力。假设用户使用了AI脚本制作视频的脚本稿,然后使用AI配音能力生成配音,紧接着使用视频拆条功能剪辑视频,最后到视频剪辑器上完成剪辑。在多个功能上跳转、传输素材文件十分耗费人力,而且其中存在很多机械的重复工作。
因此,基于这些机械重复的场景,将多个AI单点能力串联成工作流,能进一步提升业务的效率,让用户做到一站式输入输出,极大释放生产力。
06 后续思路推测
前两个阶段是当前能从市面上AI剪辑工具看出的建设思路,那在这之后呢?
个人觉得后续的思路会和我之前思考过的作文《浅谈数字员工的实现路径问题》有点类似。
之前梳理到的数字员工建设四个阶段:
- 从“实习生”到“核心成员”。
- 将数字员工拆解成“技能”,把复杂问题简单化。
- 业务流程数字化、线上化,并贴合业务流程聚合“员工技能”。
- 行为数据采集,用于进一步训练AI模型,实现AI数字员工。
当前AI剪辑工具的两个阶段可以理解为各家厂商在尝试构造“AI数字员工”的各项剪辑能力,各家厂商需要持续发力,将AI剪辑能力建设到一定程度,以让AI能够覆盖各个视频制作流程,并一定程度能够替代人力。这等同于跑通了数字员工的前三个阶段。
然后各家AI剪辑厂商可以采集用户AI的使用数据、参数设置、成品数据等内容,用于训练AI数字员工所需的AI模型。AI数字员工适用于“AI Agent”框架,即感知、计划、行动三个模块。
各家厂商实现的“AI剪辑能力”属于“行动”模块的构建。
“感知”模块则是用户的需求输入、素材输入、业务的数据等外部情况。
“计划”模块则是我们所训练的AI模型,“计划”模块需要感知用户的需求、素材输入、业务的数据等外部信息,输出所需要产出的视频内容需求,然后调用合适的AI剪辑能力,进行视频的产出,实现视频的“无中生有”。
如此一来,各家AI剪辑厂商就可以配备自己的AI视频员工能力,帮助各行各业自动化、智能化生产视频内容了。
07 谁更容易卷成
既然各家的核心思路都一致,小的就产生了一个新的疑惑——那么最终哪家能在这场AI剪辑领域的内卷中胜出呢?
小的无法准确了解到每家公司的实际情况,但是个人觉得,能够在这场竞争中卷成功的AI剪辑工具必定满足以下条件:
- 用AI剪辑工具能吸引到足够的目标用户。(有用户)
- 能够跑通与用户价值交换的商业逻辑。(能赚钱)
- 在前两个过程中构建自己的竞争壁垒,以源源不断进行价值交换。(有壁垒)
先讲讲第一点“有用户”的思考。
虽然AI剪辑工具都是为了视频制作业务服务,但是也会根据对用户进行细分,这里有四个分类方向。
- 按用户类型:按用户类型可分为非企业用户(ToC)和企业用户(ToC),非企业用户会更倾向于制作内容向的视频,企业用户则会有较大一部分是制作营销向的视频。
- 按行业类型:指比如游戏、动漫、电商等行业。
- 按视频类型:可分为内容向和营销向。内容向是指有进行非营销目的内容输出与表达的视频,比如游戏解说、电影解说、舞蹈、动漫混剪、vlog等。而营销向则是指有一定营销目的的视频,比如产品推广、品牌宣传等视频。当然,视频可以同时属于内容向和营销向两个类别。
- 按视频质量:视频也是有高低质量之分的,有些视频会包含良好的创意脚本、精美的画面、优秀的分镜、动听的BGM等内容,这项视频可视为高质量的视频。但是有些视频脚本粗糙、画面低劣、分镜简陋,是低质量的视频。不过,低质量视频并不意味着这些视频没用,低视频也是有能发挥作用的地方,比如在广告投放场景上,低质量也能起到低成本获客的作用。
AI剪辑工具会有自己的目标人群、所服务行业、视频类型/视频质量制作倾向。
比如剪映的官网标语是“轻而易剪”,其目的是提供简单的易用的剪辑工具,因此剪映的服务群体会相对更泛,各种用户、行业、视频类型都会涵盖。
而即创和智能创作云是ToB的AI剪辑工具,一个是挂在广告买量平台上,一个作为SaaS工具被售卖,可见主打的就是给企业提供视频制作服务。
不同的群体意味着有不同倾向的剪辑需求。AI剪辑工具如何把AI能力点(比如混剪、文生脚本、AI配音、视频拆条等)结合用户的需求和场景提供合适的工作流能力支持?并平衡好功能的标准化与定制化建设?这个问题是吸引用户留存的关键。
比如面向C端用户,功能不能太复杂,最好是一键式的傻瓜操作。而面向B端用户,功能要有较好的标准化程度,才能更多地满足企业在不同场景下的需求。
就拿各家都有的“混剪成片”能力来举例说明,即剪映的“营销成片”、即创的“智能成片”、智能创作云的“视频混剪”,这几个能力都是基于“混剪”这个AI能力点进行产品功能设计的。
所谓标准化,在B端产品设计中经常用到,是指将多个类型的业务按统一的标准进行规范,使得在业务流程进行的过程中,不同类型的业务能按统一的标准进行,从而减少效率的损失。
如果在“混剪成片”能力上进行高度标准化建设,能使得“混剪成片”能力可满足大部分的混剪需求。
在研究到的示例中,智能创作云的“视频混剪”、即创的“智能成片”是标准化程度较高的,其中的混剪逻辑、视频前后贴、数字人、配音、音乐、字幕等选项都可以自定义。但这样带来一个问题——功能复杂度提高,这导致用户的学习成本变高了,实际生产中的操作成本也变高了。
所谓定制化,是指给特定的场景进行功能定制,使得在某些特定场景上做到“低配置成本的输入和输出”。而剪映的“营销成片”能力就是相对定制化的能力,其可配置的输入项做了减法,意在让更多人上手这项功能能力。这也可能和“剪映的用户群体涵盖更多的非企业用户”有关系,所以他们的功能需要更简单、更容易上手,从而让更多人能用上这些能力。
可见目前看到的各家剪辑工具,AI剪辑功能呈现上大体上都是较为符合用户群体的需求的,差距就在于后续的功能推出、产品运营、产品营销方面的手段差距了,这一块暂时未能看出任何结论。
那么接下来是“能赚钱”这一点。
个人觉得,AI剪辑工具的商业模式是:AI剪辑工具通过提供视频制作流程上的“使能”和“提效”服务,用户为这项服务能力进行付费。只要AI剪辑能力能给到业务“使能”和“提效”的帮助,并且这个成本低于产出同等质量和量级内容的人力成本。
BTW,剪映在这一块还会有点区别,因为剪映背后有抖音,其核心目的还有“为抖音的短视频内容生态提供生产辅助”,所以付费盈利不一定是剪映的核心商业模式。
目前各家AI剪辑工具都是直接开启商业化,要么是按点数收费、要么是会员制,不存在亏本获客,除非后续运营手段层面搞价格战、搞买量、搞政策扶持,搞到ROI为负数、无法回本。
最后就是“有壁垒”这一点。
值得一提的是,除开自行训练的大模型,AI剪辑中的大多数能力其实算不上“壁垒”。因此这些能力大多数都有开源的技术,或者说通用的底层大模型能力,其他家厂商稍微研究研究也能做到同等的程度。因此要在后续继续卷赢,必须得有自己的壁垒,这些壁垒可以是:
- 自行训练的大模型:除非企业基于自有的数据进行大模型训练,且大模型有较好的效果,且其他厂商不能使用这个大模型,能够给到与其他AI编辑工具有差异化的效果。那么,该大模型能力便可以算是技术层面的壁垒。
- 剪辑能力:由于AI幻觉问题的存在,AI生成的结果中往往有一定的错误比例,如果能够提供强大的编辑器作为兜底能力,便能一定程度环节壁垒的影响。比如剪映的编辑器已经发展了好几年,能够提供十分完善的剪辑能力,相比起即创的“抽盲盒”模式,剪映的体验会更好。
- 素材库:如果AI剪辑功能能够调用庞大的素材库,并对这些素材进行准确的AI分析分类,AI剪辑工具能在用户的“寻找灵感”、“制作草稿”、“收集素材”环节提供高效的辅助。比如在特定场景上,提供一键成片能力,通过输入的脚本关键词,匹配准确的视频片段画面。
这些能力依赖于企业有垂直于用户所属行业的庞大素材库,并且企业需要能够有资源进行这些素材的处理和AI模型训练。这个方向往往是需要企业能够背靠庞大的视频市场,比如背靠抖音的剪映、背靠巨量的即创。
- 行业赋能能力:由于AI剪辑工具有行业之间的区别,如果能垂直赋能某一行业,给某个行业提供更高效的能力支持,同时沉淀一些该行业的能力支持、最佳实践案例(比如行业素材模板、工作流模板等等),那么企业也能在某个领域守住自己的一亩三分地。
08 总结
总的来说,AI剪辑工具目前也处于快速发展的阶段,目前还存在一些技术和应用上的局限,但其潜力和前景不容忽视。随着技术的成熟和市场的适应,我们有理由相信,AI将在视频制作领域发挥更加关键的作用。
而其中谁能从中胜出,暂且也无从得知。但是个人认为,在其中能卷出头的AI剪辑工具,必定符合“有用户”、“能赚钱”、“有壁垒”这三个特点。
本文由人人都是产品经理作者【柠檬饼干净又卫生】,微信公众号:【柠檬饼干净又卫生】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
分析的很好啊。感觉AI用于剪辑的话,还是难在创意性和稳定性上了。
剪辑真的是一项技术活啊,特别是不合要求之后还得反复修改反复看,AI能帮忙的话,希望情况好一点。
什么?AI都会剪辑了啊?那真的省了很多力气去学了,以前还想学一下来着