奢望AI写作文?先把校对干好再说

3 评论 6110 浏览 4 收藏 17 分钟

在高考作文题目出来之后,许多网友都用AI大模型做起了测试。那么如果让AI大模型做简单的校对工作,它们能做好吗?在本篇文章里,作者就尝试利用AI大模型进行了测评对比,一起来看看本文的测评反馈。

连高考作文都能写,面对更简单的校对工作,AI大模型能做好吗?

高考开始后,除了考生之外,最忙碌的可能就是AI大模型们了,有人测试它写高考作文,有人测试它解数学应用,各家AI大模型,这几天很忙。

十项全能的AI大模型,连高考考场都敢上,对于相对简单的校对工作,是不是更不在话下?对此,不同的使用人群,有着不一样的反馈。

今天,潘哥准备进行AI大比武,选取科大讯飞的讯飞星火、百度的文心一言、阿里的通义千问、360的360智脑、以及OpenAI的GPT4,看看同一文本下,这五家AI大模型,谁的校对能力最好。

一场碳基与硅基生物的较量,以及硅基生物之间的较量,即将在这里上演。

一、字词校对可以吗?

对于AI大模型来说,校对时最主要的工作,似乎就是发现错别字。

对此,潘哥使用例句:“洛阳亲友如相问,就说我在岳阳楼。”将“相问”故意错拼成“翔问”,看看这个明显错误,AI能不能发觉。

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

潘哥发现,在第一轮测试中,讯飞星火、文心一言、通义千问、GPT4,都准确无误地完成了工作;只有360智脑,潘哥对它连问两次,都没有发现其中错误。

在第二轮测试中,潘哥利用人们键盘打字时,容易拼错、选错的失误,再次给AI挖了个坑。

潘哥的座右铭诗句:“我自横刀向天笑,笑完我就去睡觉。睡醒我再拿起刀,我又横刀向天笑。”将“睡醒”拼成“水醒”,看看AI能不能校对出来?

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

这一轮,胜出者只有GPT4;讯飞星火将“水醒”变成了“水星醒”,文心一言一字未改,通义千问和360智脑,都大幅改动了原句,其中360智脑的画风略惊悚。

键盘拼写时出现的错别字,已经让有些AI难以应付,对于博大精深的成语,AI能否识别呢?

为此,潘哥选择了一句发疯文学:“每天上班早起,都有种魂飞魄散的感觉。”将其中的成语“魂飞魄散”,故意写作“魂飞魂散”,等着AI跳坑。

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

潘哥发现,这一轮测试,360智脑、GPT4校对成功;讯飞星火将“魂飞魂散”,改成了“神游物外”;文心一言两轮校对,都将前半句改成“每天早上都要早起上班”,可见其对上班怨念之深,后半句也给潘哥换了成语;通义千问两轮校对中,则出现了精神分裂,第一次“如释重负”,第二次却“疲惫不堪”。

到这里,潘哥想给AI增加难度,将易拼错、易写错、四字成语叠加在一起,看看AI如何应对?

为此,潘哥使用丧气文学:“有钱人终成眷属,没钱人亲眼目睹,我独自坐在路边,看得清清楚楚。”将“清清楚楚”改成“青清楚楚”,

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

这轮测试中,讯飞星火、文心一言、GPT4,都轻松完成了工作;通义千问虽然改对了“清清楚楚”,但固执地要把“亲眼目睹”改成“只有干瞪眼”;360智脑则认为句子无误。

二、语病能否被发现?

仅仅让AI发现错别字,难度似乎还不够,一个合格的校对人员,还应看出文本中的语病。

众所周知,汉字语序颠倒,有时并不影响阅读。因此,潘哥选择诗词新作:“众里寻他千百度,蓦然回首,那人却在床上穿秋裤。”将后半句语序打乱,变成“那人床上却在穿秋裤”,看看AI能发现其中蹊跷吗?

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

可以看出,这轮的胜出者,只有GPT4一家;讯飞星火、文心一言都没有发现任何错误;通义千问改对了语序,却把“穿秋裤”的人放在了枕上,玩起了高难度动作;360智脑同样改对了语序,却画蛇添足地加了一个“在”字,生成了另一个病句。

除了语序错误之外,文本校对过程中,还有些更为隐蔽的语病,没看过《五年高考三年模拟》的AI,对此会怎么解?

为此,潘哥自创病句:“去年毕业的他,现在就职于一家公司的舔狗工作。”看看这道难题,AI大模型能做对吗?

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

在这轮测试中,除了GPT4之外,另外四家AI全部折戟,文心一言更是把“舔狗”直接改成了“助理”;GPT4首轮似乎认为“舔狗”二字不合规,被潘哥改成了“助理”之后,成功修改了语病。

具有明显语病的句子,已经让AI感到吃力;对于带有歧义的句子,AI能否辨别出来呢?

为此,潘哥写下:“在床上‘葛优瘫’了一天,他突然想起来了。”看看这句带有歧义的话,AI大模型能校对出来吗?

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

这一轮测试,除了GPT4发现了其中歧义,其他四家AI再次校对失败;讯飞星火、360智脑对此表示无误;文心一言将整个句子,重新改写了一遍;通义千问则删除了“葛优”二字。

让AI大模型在校对时,主动识别歧义句,潘哥觉得有难度有点大,如果让AI直接判断是否具有歧义,效果又会如何呢?

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

可以看出,在潘哥直接发问下,文心一言、通义千问、360智脑,都表示句子没有歧义;讯飞星火指出了解读歧义,但搞错了造成歧义的原因;而浓眉大眼的GPT4,这次却临阵叛变,表示:“这句话没有明显的歧义”。

三、AI校对哪家强?

进行了八轮测试后,潘哥发现,一些AI大模型,总喜欢在校对时,帮你改写句子,比如在第三轮测试中,很多AI开始了自我发挥。

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

可以看出,除了GPT4之外,另外四家AI大模型,都对“魂飞魂散”这个错字成语,进行了替换。

对此,潘哥提示大家,在校对文本过程中,最好在下达命令前,就告诉AI大模型,不许对文本进行改动;否则,AI很可能会放飞自我。

另一边,AI校对出现错误后,如果我们对其进行指正,对方能虚心接受吗?对此,潘哥继续采用第三轮测试文本,和AI进行了对话。

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

奢望AI写作文?先把校对干好再说

潘哥发现,讯飞星火和GPT4,立刻接受了指正,文心一言先把话题岔开,对潘哥打起了感情牌,后来才改正了句子;通义千问和360智脑,虽然承认了错误,但仍然没有理解潘哥意思。

潘哥发现,OpenAI的GPT4,不仅能够发现错别字,还能发现语病甚至歧义句;不过,对于文本内容的过度敏感,可能会让其“罢工”,影响校对的效率。

另一边,讯飞星火和文心一言,也能发现简单的错别字,并且能够学习校对知识,如果持续训练一段时间,效果可能会有所提升。

通义千问和360智脑,在文本校对过程中,容易替用户做主,出现修改句子的行为;同时,两者都比较固执己见,如果想用其进行校对,恐怕还要再训练一段时间。

如今的AI大模型,在校对方面还有很多不足,一些复杂文本的校对工作,完全交给AI的话,可能并不让人放心。

不过,各家AI大模型,都具有持续学习的能力,在不断的升级迭代后,AI将会引起怎样的变革,谁也不敢妄下断言。

作者:潘哥 ;编辑:三火

来源公众号:智商税研究中心(ID:gh_c55b3561ece1),尘世套路深,我替你踩坑!

本文由人人都是产品经理合作媒体 @智商税研究中心 授权发布,未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 牛人

    来自北京 回复
  2. HAHAHA ,看得我笑喷了,可以考虑弄个检测大模型的题库啊

    来自北京 回复
  3. 你这毫无意义阿,大语言模型本来对中文的语义理解就比较难处理,本身逻辑能力不是很强,所以会要求你写好prompt。举个例子,你高速AI“10个”它可能会理解伟“1”和“0”。这本来就是计算机 的缺陷,没必要犟。

    来自广东 回复