AI界的“魔法棒”:LoRA解锁智能体创作新体验!

百度MEUX
0 评论 1112 浏览 0 收藏 9 分钟
B端产品经理要负责对目标行业和市场进行深入的分析和调研,了解客户的需求、痛点、期望和行为,找到产品的价值主张 🔗

在AI技术飞速发展的当下,LoRA(Low-Rank Adaptation)模型作为一种新兴的微调技术,正逐渐成为解锁智能体创作新体验的“魔法棒”。本文将深入探讨LoRA模型在智能体创作中的应用实践,从项目背景、玩法创新、明确方向到模型训练及落地收益,全方位展示如何通过LoRA提升图像生成质量、精准表达提示词,并确保图像输出风格的稳定性与独特性

AIGC工具的出现为整个设计行业带来了革命性变化,其强大之处有目共睹。

设计师们借助它大大提高了创作效率,同时它也可以将设计师的各种想法化为充满创意的画面,让我们可以将更多精力投入到创意构思和细节优化上。

但目前AI生图仍存在生成随机性强、AI同质化严重等问题,为了避免这些负面影响,我们将训练自有的LoRA模型作为一种解决方案,添加LoRA模型进行生图不仅可以提升图像生成质量、精准表达提示词,也能确保图像输出风格的稳定性与独特性。

在通过深入了解并使用LoRA模型后,我们开始思考如何将其与玩法结合并落地于业务的运营活动中。

一、项目探索

1.项目背景

文小言作为一款AI原生产品,其中囊括了众多AI相关的特色功能。

在已上线的「二十四节气-写诗成画」智能体中,我们期望文小言能依据用户提示词,创作出与当下节气相契合的精美藏头诗海报,但目前AI在此过程中的参与度稍显不足,仅参与了藏头诗部分的生成,节气底图仍依赖设计师绘制。

为深度挖掘AI的潜力,我们考虑将LoRA生图能力落地在智能体的底图生成中,通过将两者巧妙结合,制成精美且充满意境的国风水墨系列海报,从立春之始,至岁末大寒,让每一幅海报都似精美水墨画卷般缓缓展开。

2.玩法创新

通过LoRA将AI生图能力落地在「二十四节气-写诗成画」智能体中,做到快速生成多张相同风格的节气海报,同时也使生成的画面创意倍增,极大强化玩法的AI属性与趣味性,提升用户的生成体验。

另一方面,通过一次性搭建配置平台,只需简单更换节气提示词即可做到节气风格切换,极大简化玩法前期配置所需环节。

同时,该玩法历经长期的更新迭代,已经积累了大量优质的训练集,并形成一套完整的水墨风格体系,基本可以满足节气风格LoRA的训练所需。

3.明确方向

训练前期,将现有节气海报图片汇总排列,分析并提炼其共同点和风格特征,从而确定了LoRA风格训练的几大方向:

  • 保持国风水墨风格:确保LoRA在图像生成时能够凸显画面的意境氛围和水墨晕染的笔触,使观者仿若置身于诗意的山水画卷之中。
  • 强调画面上方留白:留白不仅是国风水墨画中凸显意境的常见艺术手法,同时也为藏头诗的融入提供了相应的区域,二者相辅相成,共同展现出独特的艺术魅力。
  • 支持节气灵活切换:为确保图像生成的多样化体验,需在满足以上两点的同时,实现单一LoRA模型对二十四节气的灵活适配,这要求我们深入理解四季变换的自然规律与美学特征,并制定针对性训练策略,让LoRA在生图时充分彰显四季更迭的独特魅力。

4.模型训练

在明确了训练方向后,我们正式启动了模型训练流程,遇到问题采取相应策略,见招拆招!

1)训练集补全

由于目前已更新的节气尚未覆盖全年二十四节气,所以首先需要对缺失图集进行补全。

我们通过将已有图集上传至Midjourney,利用已有图集垫图控制生成风格,在提示词方面强调水墨意境与画面留白的描述,二者结合共同引导,快速补全24节气缺失图集。

经过多轮生成尝试得出结论,关于景色的描述越简洁,画面则越有意境,所以我们借助了文小言的文言文生成能力,得到了简洁优美的画面提示词。

2)训练集处理‍

由于AI生成具有极强的随机性,因此我们在训练集准备阶段,通过PS对图像布局进行调整,并根据训练集画面提炼对应的描述词模版,旨在特意强调画面中的留白部分。这一操作不仅是为了给藏头诗预留区域,留白同样也是水墨画中不可或缺的元素,它不仅能够赋予画面呼吸的空间,更能够凸显画面所蕴含的深邃意境与无限遐想。

3)训练及成果测试

通过调整合适的训练参数进行LoRA训练,多次训练结果对比显示,若是采取将训练集按季节细致分类的策略,可以增强模型对季节特征的辨识与学习能力,有效避免季节特征间相互污染,确保LoRA中四季的划分。

随后,通过将LoRA结合大模型进行生图测试,寻找最佳生图参数,并通过总结高质提示词模版,做到更换季节、场景描述即可完成高质量、高泛化的图像生成。

4)生图功能落地

最后我们将生成的图像与AI藏头诗巧妙融合,制作出一系列画面精美、意蕴深远的节气藏头诗海报。

这些海报不仅展示了中国传统文化的独特魅力,还通过现代科技的手段,让古老的节气文化焕发出新的生机与活力,更为我们带来了全新的视觉与心灵享受。

二、落地收益

我们将生图能力整合落地至「二十四节气-写诗成画」智能体后,实现了图像创作的全AI化,它能够根据用户的个性化需求,生成丰富多样的视觉内容。这不仅极大吸引了用户的注意力,还激发了他们的创意互动热情,为用户带来了全新的玩法体验。

这种创新性的运营玩法不仅显著提升了用户参与度,强化了产品的AI属性,更在无形中增强了品牌影响力。后续我们也会通过不断优化训练集内容对LoRA进行版本迭代,在图像创作领域为用户带来更好的体验。

本文由人人都是产品经理作者【百度MEUX】,微信公众号:【百度MEUX】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!
专题
20040人已学习19篇文章
好的权限系统可以明确公司内不同人员、不同部门的分工,便于管理等优势。本专题的文章提供了后台权限管理设计指南。
专题
11844人已学习12篇文章
随着市场竞争的加剧,越来越多的企业为了提高内部管控的效率,开始自建或引入内部管理系统来提升公司的效率。本专题的文章分享了企业管理系统设计指南。
专题
15914人已学习12篇文章
区别于普通业务,中台能让系统更好地满足业务需求,提升系统效率。本专题的文章分享了如何搭建业务中台。
专题
37354人已学习13篇文章
市场调研是帮助他们更好地了解自己、了解用户、了解市场。
专题
15498人已学习12篇文章
用户增长是一个复杂体系,涉及产品、运营、市场、技术等多个环节的相互配合,本专题的文章分享了用户增长方法论。
专题
14177人已学习13篇文章
无论是对于需求的挖掘,还是对于产品的设计迭代,用户访谈这个环节都是必不可少的。本专题的文章分享了如何做好用户访谈。