去「AI味儿」大作战,AI到底能不能写出风格稳定的「网文」?| AI chat篇
都说生成式AI用在写东西方面非常强大,不知道用来写网文效果如何。这篇文章,作者通过实操为我们对比AI写网文的一些问题,以及一些风格模仿的效果。
很多小伙伴在尝试用AI写网文的时候,都会遇到这样的问题:AI刚开始写出来的东西可能还不错,写着写着就出现语言浅白、生硬的问题。当篇幅拉长之后,AI就开始重复、排比,大量内心独白,胡乱堆文字,进入抽风的状态。
那么,有没有什么办法,能让AI的文风保持住?
要解决这个问题,我们首先需要来分析一下,出现这种问题可能的原因,才好对症下药。
目前AI能写的文章类型很多,小到小红书/朋友圈文案、短诗,大到公众号文章、论文。AI处理逻辑性强、知识梳理类的文章能力很不错,比如生成邮件正文、会议纪要、论文之类的。AI本身的语言风格也很贴合这类内容。
但在创作故事、输出较感性的文案方面,AI会出各种问题,开篇讲到的情况就是典型体现。我认为原因在于,故事类内容中有逻辑性,但逻辑性不是故事的核心驱动力,并且故事中绝大部分内容需要去虚构、无中生有,这其实是和生成前述文章类型非常不同的能力。虚构≠瞎编,这种知识的综合运用,内里隐含的决策机制非常复杂,人脑可以轻松做到,却很难归纳成123,只可意会不可言传,远不是现有AI能完全掌握的。
因此,我们可以考虑以下几个方面来解决:
- 从文风层面上,是不是能让AI去深入学习网文的风格,理解网文用词、句式、对话、描写、分段等各个方面的特点,利用风格的约束,避免乱写的情况出现。
- 从提问层面上,还是得化整为零,让AI执行的任务更聚焦,别让AI一次生成过多内容,看看这样是不是会好些。
如此,我们可以有三套方案,分别面向AI chat、智能体、AI写作软件,看看效果如何。
总体思路
这次测试主要目的,是想探究作为普通的网文作者,如何使用AI产品才能使AI生成的网文风格更加稳定,减少AI胡言乱语浪费时间的情况。
虽然面向的是三类不同AI产品,但这次测试的总体思路有一定相似性,主要包括以下几个方面:
1.我们先找到某位高产作者的作品,扒一部分内容下来喂给AI去学习
这里不会扒全本,而是控制在几万字左右。因为我们的目的不是训练一套大模型用来写网文,而是希望AI能按照稳定的风格(或者说作者自己的风格)来行文,如此可供AI学习的内容体量通常不会太大。
2.找到这位作者的最新作品,描述对应的故事梗概给AI来写,看AI能写成什么样
分块生成正文,少量多次,每次尽量控制在1000字以内,再将生成的内容拼装好。以这样的方式试写出两章,看看AI还会不会抽风,写出来的内容和原作者风格的差别究竟有多大。
3.准备对照组
既然要测效果,对照组当然少不了。这里我按照示例的字数,将每套方案中的测试对象分为4组,分别是0k(不提供示例)、2k(提供约2k字的示例)、10k(提供约1万字的示例)、50k(提供约5万字的示例)。示例就是前面讲的高产作者已有的作品。
4.准备检验标准
如何衡量AI生成的内容风格相似度?我找来了鲁迅的《孔乙己》和《狂人日记》,及朱自清的《背影》三篇文章,然后分别上传至Kimi请AI分析其语言风格的相似度。
提问:【上传文件】请帮我检测这两篇文章语言风格的相似度,并告诉我如果满分是100分,这两篇文章语言风格相似度是多少分?
Kimi给出《孔乙己》和《狂人日记》的语言风格相似度是70,《孔乙己》和《背影》语言风格的相似度是40。所以,后续我们可以以这两个分值作为参考,用来评估原文和AI生成内容的相似度。
为啥选择这样的思路呢?其实关键在于现在的AI太傻了。更智能的方式AI做不到,更精细的方式一般网文作者接受不了。所以,不管是总体思路还是后续具体的测试方案,都需要寻求一个既不算太麻烦,又能产生好结果的平衡。
方案1:用AI chat仿写
用AI chat仿写,即上传网文示例,然后让AI参考示例的风格来写小说。
通常有两种做法,一个是上传文件后,直接给出故事梗概,让AI仿照示例风格来写。第二种方式是先上传文件,让AI归纳文章的语言风格,然后再要求AI按照此种风格来写。
我的提问列表如下:
直接仿写
无示例版
请你扮演一位专业的网文作者,按照如下故事梗概写出小说正文:
(略)
要求:
1.以对话、描写为主,让故事更具有画面感
2.结合故事梗概扩展细节,确保细节丰富、情节连贯
3.输出正文内容不少于500字,结尾不要出现感悟和总结性的内容,等待我给你后续的故事梗概
含示例版
【上传文件】请你扮演一位专业的网文作者,以上是你曾经写过的网文,请你严格按照这篇文章的语言风格,写出小说正文,故事梗概如下:
(略)
要求:
1.以对话、描写为主,让故事更具有画面感
2.结合故事梗概扩展细节,确保细节丰富、情节连贯
3.输出正文内容不少于500字,结尾不要出现感悟和总结性的内容,等待我给你后续故事的梗概
追问
请按照如下故事梗概,继续写出后续的故事:
(略)
要求如下:
1.语言风格必须和上面保持一致
2.以对话、描写为主,让故事更具有画面感
3.结合故事梗概扩展细节,确保细节丰富、情节连贯
4.输出正文内容不少于500字,结尾不要出现感悟和总结性的内容,等待我给你后续的故事梗概
……(重复追问,直至写完2章内容)
归纳后仿写
提问
【上传文件】请你分析这篇文章的语言风格,并详细介绍这种语言风格的特点
追问
请你扮演一位专业的网文作者,严格按照这样的语言风格写出小说正文,故事梗概如下:
(略)
要求:
1.以对话、描写为主,让故事更具有画面感
2.结合故事梗概扩展细节,确保细节丰富、情节连贯
3.输出正文内容不少于500字,结尾不要出现感悟和总结性的内容,等待我给你后续故事的梗概
追问
请按照如下故事梗概,继续写出后续的故事:
(略)
要求如下:
1.语言风格必须和上面保持一致
2.以对话、描写为主,让故事更具有画面感
3.结合故事梗概扩展细节,确保细节丰富、情节连贯
4.输出正文内容不少于500字,结尾不要出现感悟和总结性的内容,等待我给你后续的故事梗概
……(重复追问,直至写完2章内容)
全部生成完毕后,将生成的内容片段,按照各自分组组装起来,然后,将生成的各个版本完整正文(2章)与作者原版作品的前2章对比,同样由Kimi来打分,语言风格相似度得分如下:
直接仿写
归纳后仿写
*AI分析语言风格打分的时候,重点考虑了主题和情节走向,虽然我后面调整了问题要求忽视这块,但AI并没咋听进去,得分还是高得离谱。这样的偏差对最终得分影响比较大,导致结果与预期严重不符。
(╯#-_-)╯~~~~~~~╧═╧ 这鬼分数,我怎么就不信呢……
算啦算啦,AI不怎么靠谱,还是得靠自己!我来给大家分析下几组生成正文的结果情况吧:
直接仿写
0k空白对照组
0k版语言风格较为平实,从第二个片段开始,结尾部分出现典型的AI味儿段落。随着轮次变多,AI味儿内容占的篇幅越来越多,包括累赘的内心独白、重复的句子/段落等。在故事扩展上,出现了某些片段AI为了凑字数,自动续写后续情节的情况,导致两个片段故事衔接上出现问题。
2k版
2k直接仿写版,开篇的语言风格、人物展现出来的面貌,和0k版有了较大差异。行文风格上已经能明显感觉到它在向示例靠拢,且AI味儿内心独白之类的内容比例大幅减少,只在后面三块情节片段的结尾出现。另外,出了个bug,第二块出现了大面积重复,生成的1600+字中,只有前350+字是可用的,后面全部是重复前面的文字。
10k版
10k直接仿写版,出现了让人意想不到的状况,剧情完全跑偏了,生生按照同样的故事梗概写出了不一样的故事和人物关系。从文风上来说,这一版相较于0k版还是有较大改善的,偶尔有一些AI味的内心独白、展望未来出现在片段末尾,占比不是很大。相较于2k直接仿写版的改进则不是很明显。
50版
50k直接仿写版写出来的内容让人很迷惑,因为它几乎犯了前面几版所有的错误,AI味儿内心独白、重复等所占的篇幅较之2k和10k的直接仿写版更多,比0k版少一点。和10k版一样,情节和人物关系完全跑偏,且其中掺杂进来了很多无意义的人物交互(没有什么情节,就是这些龙套提一嘴又消失,表达一下对主角的关心)。不测不知道,一测让人大失所望。归纳后仿写
2k版
2k归纳后仿写生成的内容,和2k直接仿写版差不多,不管是文风还是人物的性格都很相似。这一版中扩展了一个重要配角,用来演绎故事梗概中的一些情节,算是一个创新点吧。至于AI风格的内心独白、重复之类的状况,会比2k直接仿写版多一点,总体占比还是比较低的。
10k版
10k归纳后仿写版简直不要太离谱~
这一版在文风上,我认为是比10k直接仿写版更接近原作的,但出现了新的问题,就是后面轮次的对话生成的内容,会出现与前面轮次重复的情况。不是衔接处重复提点前情,而是在结尾处重复前一轮结尾的内心独白,且重复了好几遍,神奇的callback。当然啦,10k直接仿写版出现的剧情跑偏问题同样存在,这里还出现了前后人设崩坏的情况,逻辑很混乱。
50k版
50k归纳后仿写版,比之前的所有版本都要离谱。怎么说呢?可能是彻底被AI腌入味儿了吧。情节和人物完全跑偏,加入很多无意义的人物和情节,以及见缝插针出现的AI味儿内心独白。我感觉甚至不如0k版的表现,辣眼睛。
以上是AI chat的测试结果。这就是为啥我感觉AI打分极度不靠谱的原因,看AI打分和人工分析,完全是两码事。
从AI chat的测试情况来看,有几点结论:
- 采用仿写的方式,确实会比然AI直接按照故事梗概行文效果好,生成的文字内容风格更加稳定,减少了AI味儿。
- 示例篇幅并不是越大越好,2k、10k、50k篇幅示例提供参考的效果递减,这一点出乎我的预料。
- 随着轮次变多,AI写正文质量也在快速下降,非常明显。甚至不需要太多轮次,这个问题就出现了。
- AI每次生成内容,都感觉它认为自己是最后一次为你服务一样,非得来个畅想美好未来的结尾,戏很多且无法让它闭嘴。
总体来说,我认为AI chat用来写正文不是个好选择,真的太容易抽风了,文风极度不稳定。AI chat适合做一些碎片化的、浅层的、强逻辑性的工作,或是生成一些创意点子,写文就算了吧,它完全hold不住啊~
本文由人人都是产品经理作者【不知】,微信公众号:【不知】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
- 目前还没评论,等你发挥!