最近一段时间，以ChatGPT为代表的大语言模型在互联网平台上引发了大量用户的讨论，那么如果想将LLM大语言模型与智能客服产品进行结合，或者将前者落地于ToB SaaS应用软件领域，可以遵循什么样的搭建策略呢？

就聊聊当下热门话题：ChatGPT在智能客服产品中该如何落地？

关于ChatGPT为代表的大语言模型，每个人的朋友圈都被刷爆了，不再水字数。咱们直接来做一道真题：如果在智能客服这样一个ToB SaaS应用软件领域，想要落地LLM大语言模型，如何实现？

01

首先，先来解决一个值不值得做的问题：智能客服领域，值得用LLM大语言模型进行智能化产品改造嘛？

产品的几个典型特征汇总下：

人力密集：

智能客服，是一个高度依赖人工操作的系统，有解放生产力的内在需求。

数据密集：

智能客服产品可沉淀大量过程性数据，如会话信息，通话记录，录音，操作日志。有数据，就有了人工智能应用滋生的沃土。

流程可定义：

这类产品，往往都可以有典型的业务流程抽象：如IVR语音交互、外呼任务、工单流转等。

有智能化应用基础：

智能客服是很早迈入AI人工智能技术的赛道之一：文本机器人，语音机器人，智能质检的应用已经非常成熟。客户和用户的心智已得到教育。

结论：一个行业，有相对落后的生产工具、有比较标准的生产流程，有大量未充分处理的数据，且对人工智能无抵触，那么肯定是一个值得LLM落地生根发芽的沃土。

只不过。这片田地在现阶段LLM们眼中看来，还是小了一点而已。

02

如果值得做，那么如何做？

这就是一个见仁见智的问题了，大家的产品架构不同，目标客群不同、业务规模不同、主打产品各异。

我们可以假设，已经有了一套得到验证，稳定运营的成熟产品，不希望引入LLM带来现有产品的巨大变化，进而影响客户体验。如何搞？

提倡拥抱变化，嘴上鼓吹AGI通用人工智能带来行业巨变，这些都没问题，真要不破不立，付出真金白银的代价来决策，去执行，还是一个很难抉择的命题。

1. 架构设计问题

审视本身产品架构，是否具备LLM大语言模型落地基础。

可以理解、由于历史原因，当前主打产品架构陈旧，模块化解耦不完善，性能瓶颈无法解决，但因为跑着很多生产客户，轻易无法改动。这种情况下，再塞入ChatGPT到整个架构中，将带来更多沉重压力。

那么第一步先想清楚，是打算好好优化下，还是另辟蹊径，单独做一个外围LLM应用。

好比老房子改造，是不是要打算做做基础施工，还是简单刷刷墙、做下软装得了。

历史包袱较重的话，也不妨另起炉灶，聚拢有心气的一支精锐之师冲一下。也算是给原有池塘中投入一只鲶鱼。

2. 工具设计问题

做顶层应用设计之前，我们需要先梳理工具。如AI引擎管理、数据建模工具、意图管理管理、标签标注和管理，流程生成工具，业务构建工具等等……

ChatGPT能力的引入，相较于以前智能客服产品所沉淀的基于自然语言处理、语义理解、意图识别，关键字和正则处理等方式，带来颠覆性的改变。借助其能力涌现，上下文关联，逻辑链提示处理等方式，原有的手把手定义流程，字词句填槽的旧模式，势必得到极大改变。

如果以前构建复杂AI应用，需要是半编程化的方式，用ChatGPT们来实现，打个比方更像是RPG游戏编程工具，以场景搭建、角色扮演，提示格式化、逻辑化，辅以人工反馈监督的模式去进行。

为什么不能是呢。如果我们做的足够好用，是不是也可以直接邀请用户参与到“游戏”开发中来？

另外，很多工具本身，更可借助ChatGPT进行智能化的改造。以更高效和智能的方式来处理数据、生成数据。

如进行自动训练和标注、知识库的自动化扩充、来代替语料手工标注，代替传统问答对的低效人力处理，给出标准问，自动扩展相似问等等。

3. 应用设计问题

最后说说智能客服应用层面的设计，这里是用户可感知的界面和内容。

我们来根据智能客服的一些典型场景，看看ChatGPT们的优势能力，可带来哪些富有想象力的改变。

1）增强型对话能力

不可否认，ChatGPT带来了极其强大的对话能力，我们万分期待，甚至开始脑补其进入智能客服对话中的效果。

但是很遗憾，智能客服产品领域内的对话，是一个非常典型的限定业务领域、任务驱动的对话需求，我们客户肯定不希望访客进来，是寻找一个超高智能、善解人意、能写会画的陪聊机器人。

会话内容必须收敛于企业业务范畴内，服务于客服和营销场景下，解决和处理问题，不要浪费宝贵的资源。

不加控制的直接引入ChatGPT到客服领域，那感觉就好比你回家撞见扫地机器人不干活，和隔壁的智能吸尘器聊的你侬我侬，是不是恨不得一棒子打死了事！

所以，构建增强型对话能力，一方面我们借助ChatGPT简化了对话流程设计：以前需要设定N多个意图，关联无数个上下文才能实现的方式，现在开箱即用，自然语言对话获取、格式化提示完成限定任务、收集访客数据和意向。另外，通过私有化训练和公共文本数据的结合，对访客提供不僵化、更优质的回答体验。

ChatGPT和传统文本，语音机器人能力的结合，会给智能客服的机器人服务能力带来质的飞跃。

2）智能质检

传统智能质检已经是非常成熟的解决方案，但如果通过ChatGPT，投入预训练和一定的业务规则定义，可以实现无需复杂设定，更智能的质检结果输出。

我们向模型内投入一定数量的优质录音、文本，然后告知ChatGPT都有哪些加分因子、让他自动判别生产数据的质检情况，然后不断通过手工质检的对齐调优，让ChatGPT持续不断学习和改进。

3）智能化辅助

同理，对于座席侧智能辅助功能，也是可以通过对优质样本的投喂，正确流程和加分因子的定义，不断的让ChatGPT在数据滋养下，实时对座席给出更好的辅助能力。原有的辅助功能框架可以保留，但是内里是一个不断进化，自动学习的“业务助理”

4）内训机器人

基于智能质检和智能辅助的基本能力，针对使用场景是企业内训的机器人，也完全可以基于现有数据样本，更自动化的生成内训“教官”，我们业务管理人员，可以针对岗前培训、业务流程、服务过程设定不同内训主题，一定量标准语料训练后，让内训机器人指导座席进行自我训练，这种对于强调学习能力和管理能力的运营型客户，很有吸引力。

5）智能填单类

智能客服应用中，有大量需要手工输入的表单：客户资料、跟进记录、服务工单，目前市面上CRM领域已经出现借助ChatGPT进行智能填单的实验性应用。按以往的实现方式，必须有复杂的工程化设计，将会话文本实时匹配，借助词性分析，语义分析和关键字查找等方式，使用表现往往不尽如人意。我们可以期待LLM大语言模型的超强能力可以有效提升这类型产品的实用度。

6）从帮助中心到座席助理

全功能的智能客服产品已经是一个非常庞大的产品体系，功能多如牛毛，上手难度很高。

很多产品的设计，需要操作者进行到处跳转去查找、配置、调整。以往的帮助形式，除了简单的页面的功能提示，就是如wiki一般厚重的在线帮助页面，对使用者说不上友好，对开发者也有持续更新维护的沉重负担。

而使用智能助理模式的在线帮助，不同角色的人员可以通过对话式的简单体验，来获取使用上的实时协助，甚至一些功能型的配置和要求，聪明的助理也可以准确理解使用者的对话，直接进行配置和改变。

比如：系统管理员唤起智能配置助理：

“小C小C，帮我查找一个近半个月名字叫做***的客户所有访问和对话记录”

这个对小C的能力来说，就是小case了。

“小C小C，我需要设置一个清明节的IVR语音导航，所有清明节时间呼入的电话，都提示这样一句话：***”

这个要求嘛，还是有一定风险，出于谨慎目的，小C还需要和你反复确认一些关键配置要素，确认无误才去执行。

7）AIGC知识库

智能客服产品中，最需要内容生产能力的地方，莫过于知识库。

产品必备的知识库通常分几类：内部知识库、机器人知识库和外部知识库。

① 内部知识库

是提供给座席使用者，会话中实时定位查询使用。企业的业务变化多端，知识库的调整要及时到位。对于内部知识库的整理。一般需要专人进行上传、编辑、整理，用过的都知道这是一个非常耗费工作量的事情。

ChatGPT的引入，能协助高效智能的归类，自动生成知识库类目、明细。如果增加对外部数据源的引用，知识库还可以自动关联，减少知识库同步的操作。使用者在应用中，可给与知识点反馈，能帮助知识库进行权重自动调节。

② 机器人知识库

文本和语音机器人能够回答访客问题，依赖机器人知识库的有效内容。一旦无法命中，机器人只能回避或者推荐其他知识点。对于未知问题的整理，是需要智能客服使用者大量投入工作量的一个地方。

同样，对于调用量远大于内部知识库的机器人知识库来说，借助用户反馈来对未知问题进行自动整理和关联，能节省很多知识库维护者的工作。我们也可以通过多机器人组合的方式，在一通会话中接力棒一般服务于客户的不同场景，那么被训练好的ChatGPT专属机器人，也可以在特定的场合发挥能力，并可以逐步替代一些以往模式僵化的问答型机器人。

③ 外部知识库

如果企业有知识门户的需求，需要整合在智能客服产品中，如果不把这类产品算作一个独立品类的话，基于ChatGPT的多模态的AIGC能力，可以更方便的将已整理的知识内容转化为输出产物，更方便的生成知识文章、图片、甚至音视频，快速生成一个个性化的知识空间。

充分发挥ChatGPT创造性的工作，这里还有很多的想象空间。

④ 数据预测类应用

最后我想到的一个品类，是基于对智能客服数据的预测分析。作为以往智能客服类产品的一个“短板”，建设数据预测类产品可能需要很重的CDP数据平台建设，CEM客户体验管理等方式，如果ChatGPT可以更高效精准的进行销售意向，行为，成交概率的预测，对利润中心导向的智能客服产品，将具有很大价值。

4. 商业化前景

以上，完全只是构想，甚至算是空想，想要做出真正落地的应用，我们更应该同步关注这些问题：

• 投入产出比？
• 可衡量的客户认可和价值体现？
• 通用性与行业性？
• 数据风险和监管安全？

这样的问题继续深入下去，将有很多的扩展，也不是我这一篇短文就能聊清楚。后续我会随着思考和实践，再单独分类整理。

ChatGPT们的到来，首先让我们震惊，然后是思考，更重要是发现全新的机会。

所知有限，期待与大家的深入交流。

最后的最后，来看看ChatGPT和文心一言对这个问题的解答吧