AI界的“魔法棒”:LoRA解锁智能体创作新体验!
在AI技术飞速发展的当下,LoRA(Low-Rank Adaptation)模型作为一种新兴的微调技术,正逐渐成为解锁智能体创作新体验的“魔法棒”。本文将深入探讨LoRA模型在智能体创作中的应用实践,从项目背景、玩法创新、明确方向到模型训练及落地收益,全方位展示如何通过LoRA提升图像生成质量、精准表达提示词,并确保图像输出风格的稳定性与独特性
AIGC工具的出现为整个设计行业带来了革命性变化,其强大之处有目共睹。
设计师们借助它大大提高了创作效率,同时它也可以将设计师的各种想法化为充满创意的画面,让我们可以将更多精力投入到创意构思和细节优化上。
但目前AI生图仍存在生成随机性强、AI同质化严重等问题,为了避免这些负面影响,我们将训练自有的LoRA模型作为一种解决方案,添加LoRA模型进行生图不仅可以提升图像生成质量、精准表达提示词,也能确保图像输出风格的稳定性与独特性。
在通过深入了解并使用LoRA模型后,我们开始思考如何将其与玩法结合并落地于业务的运营活动中。
一、项目探索
1.项目背景
文小言作为一款AI原生产品,其中囊括了众多AI相关的特色功能。
在已上线的「二十四节气-写诗成画」智能体中,我们期望文小言能依据用户提示词,创作出与当下节气相契合的精美藏头诗海报,但目前AI在此过程中的参与度稍显不足,仅参与了藏头诗部分的生成,节气底图仍依赖设计师绘制。
为深度挖掘AI的潜力,我们考虑将LoRA生图能力落地在智能体的底图生成中,通过将两者巧妙结合,制成精美且充满意境的国风水墨系列海报,从立春之始,至岁末大寒,让每一幅海报都似精美水墨画卷般缓缓展开。
2.玩法创新
通过LoRA将AI生图能力落地在「二十四节气-写诗成画」智能体中,做到快速生成多张相同风格的节气海报,同时也使生成的画面创意倍增,极大强化玩法的AI属性与趣味性,提升用户的生成体验。
另一方面,通过一次性搭建配置平台,只需简单更换节气提示词即可做到节气风格切换,极大简化玩法前期配置所需环节。
同时,该玩法历经长期的更新迭代,已经积累了大量优质的训练集,并形成一套完整的水墨风格体系,基本可以满足节气风格LoRA的训练所需。
3.明确方向
训练前期,将现有节气海报图片汇总排列,分析并提炼其共同点和风格特征,从而确定了LoRA风格训练的几大方向:
- 保持国风水墨风格:确保LoRA在图像生成时能够凸显画面的意境氛围和水墨晕染的笔触,使观者仿若置身于诗意的山水画卷之中。
- 强调画面上方留白:留白不仅是国风水墨画中凸显意境的常见艺术手法,同时也为藏头诗的融入提供了相应的区域,二者相辅相成,共同展现出独特的艺术魅力。
- 支持节气灵活切换:为确保图像生成的多样化体验,需在满足以上两点的同时,实现单一LoRA模型对二十四节气的灵活适配,这要求我们深入理解四季变换的自然规律与美学特征,并制定针对性训练策略,让LoRA在生图时充分彰显四季更迭的独特魅力。
4.模型训练
在明确了训练方向后,我们正式启动了模型训练流程,遇到问题采取相应策略,见招拆招!
1)训练集补全
由于目前已更新的节气尚未覆盖全年二十四节气,所以首先需要对缺失图集进行补全。
我们通过将已有图集上传至Midjourney,利用已有图集垫图控制生成风格,在提示词方面强调水墨意境与画面留白的描述,二者结合共同引导,快速补全24节气缺失图集。
经过多轮生成尝试得出结论,关于景色的描述越简洁,画面则越有意境,所以我们借助了文小言的文言文生成能力,得到了简洁优美的画面提示词。
2)训练集处理
由于AI生成具有极强的随机性,因此我们在训练集准备阶段,通过PS对图像布局进行调整,并根据训练集画面提炼对应的描述词模版,旨在特意强调画面中的留白部分。这一操作不仅是为了给藏头诗预留区域,留白同样也是水墨画中不可或缺的元素,它不仅能够赋予画面呼吸的空间,更能够凸显画面所蕴含的深邃意境与无限遐想。
3)训练及成果测试
通过调整合适的训练参数进行LoRA训练,多次训练结果对比显示,若是采取将训练集按季节细致分类的策略,可以增强模型对季节特征的辨识与学习能力,有效避免季节特征间相互污染,确保LoRA中四季的划分。
随后,通过将LoRA结合大模型进行生图测试,寻找最佳生图参数,并通过总结高质提示词模版,做到更换季节、场景描述即可完成高质量、高泛化的图像生成。
4)生图功能落地
最后我们将生成的图像与AI藏头诗巧妙融合,制作出一系列画面精美、意蕴深远的节气藏头诗海报。
这些海报不仅展示了中国传统文化的独特魅力,还通过现代科技的手段,让古老的节气文化焕发出新的生机与活力,更为我们带来了全新的视觉与心灵享受。
二、落地收益
我们将生图能力整合落地至「二十四节气-写诗成画」智能体后,实现了图像创作的全AI化,它能够根据用户的个性化需求,生成丰富多样的视觉内容。这不仅极大吸引了用户的注意力,还激发了他们的创意互动热情,为用户带来了全新的玩法体验。
这种创新性的运营玩法不仅显著提升了用户参与度,强化了产品的AI属性,更在无形中增强了品牌影响力。后续我们也会通过不断优化训练集内容对LoRA进行版本迭代,在图像创作领域为用户带来更好的体验。
本文由人人都是产品经理作者【百度MEUX】,微信公众号:【百度MEUX】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
- 目前还没评论,等你发挥!