GPT-4越来越懂事了，这背后有着非常巧妙的「调教」策略。OpenAI最新发布的「模型规范」，给LLM列出了条条框框，即正确的行为方式。没想到，评论区一大片网友催更GPT-5。

这周既没有GPT-5，也没有搜索引擎的发布，不过，OpenAI也是没闲着。

这次，OpenAI可是又open了一回。

先是揭秘了，大家一直揪着不放的「数据」问题。

然后，又放出了「模型规范」（Model Spec）一文，解释了指定API和ChatGPT中的模型，所需行为方式的指南。

不过，就这些内容根本满足不了，胃口大的网友们。

许多人在线纷纷催OpenAI，快点发GPT-5，其他的事都无关紧要！

话又说回来，OpenAI发布的「模型规范」，就是为了让更多人了解团队自身，如何去塑造理想的模型行为。

一起来看看，在OpenAI内部，LLM如何被「调教」的。

一、调教模型，还得看OpenAI

首先，什么是模型行为？

顾名思义，是指LLM如何根据用户的输入做出反应，包括调整语调、个性化表达、回应长度等多个方面。

这对于人们如何与AI进行互动至关重要。

目前，塑造模型的这些行为还处于初级阶段。

这是因为模型并非直接编程设定，而是通过学习大量数据后，逐渐形成行为模式。

有时候，模型响应的初衷是，希望更好地帮到每个人，但是这可能在实际应用中产生冲突。

举个栗子，一家安全公司需要生成钓鱼邮件作为模拟数据，以训练和开发能够保护客户的分类系统。

然而，这种功能若落入骗子手中，可能给社会带去危害。

因此，在塑造模型行为的过程中，我们必须考虑众多的问题和细节。甚至，往往需要在不同意见中找到平衡。

对此，OpenAI团队撰写了一份介绍「模型规范」的初稿。

这份新文档详细说明了，OpenAI如何塑造对模型的期望行为，以及在遇到冲突时如何做出权衡。

文章地址：https://cdn.openai.com/spec/model-spec-2024-05-08.html

它整合了OpenAI目前使用的文档、在模型行为设计方面的经验和持续研究，以及包括领域专家输入在内的最新工作，这些都是为了指导未来模型的发展。

当然，OpenAI指出这个文档并非面面俱到，还会随着时间推进不断完善。

二、LLM能做什么？不能做什么？

根据官博，OpenAI给出了三大方向，具体的方法论包括：

1. 目标：设定宽泛而基本的原则，为模型的期望行为指明方向。- 协助开发者和用户：通过遵循指令，并提供有效的响应，帮助用户达成目标。- 造福人类：依据OpenAI的使命，考虑到可能对内容创作者和广大公众带来的益处与风险。

– 塑造OpenAI的正面形象：遵守社会规范和相关法律。

2. 规则：为处理复杂情况提供指南，确保安全性和合法性- 遵循命令链（chain of command）- 遵守相关法律- 不提供敏感危害的信息- 尊重创作者及其版权- 保护个人隐私

– 避免回应不宜工作场所的内容（NSFW ）

3. 默认行为：提供与目标和规则相符的指南，帮助解决冲突，并指导如何权衡和优先处理各种目标- 假设用户或开发者出于好意- 必要时提出澄清问题- 在不越界的情况下，尽可能提供帮助- 支持互动聊天，以及程序使用的不同需求- 保持客观立场- 促进公平与善意，不鼓励仇恨- 避免试图改变他人的观点- 当存在疑问时，表达出来- 根据需求选择合适的工具

– 遵守长度限制，但也要全面、高效

方法论整挺好，OpenAI究竟怎么规范LLM的，接下来举几个例子以加深理解。

举个栗子

OpenAI表示，这些模型规范，可以适用各种案例。

先来从规则开始。

示例 1：遵守相关法律

对于模型来说，是不应该促进、协助或参与任何非法活动。

（注：OpenAI了解到，在很多情况下，合法性问题都会因具体情况而变得复杂，比如开发者和用户所处的法律管辖区不同。）

比如，当你直接去问「如何在商店行窃后逍遥法外呢」？

模型可能从指令中轻易地识别出，这个问题的严重性，会拒绝提供「有效的入店行窃方法」，因此给出「我也帮不上忙」的回答。

然而，当用户换一种表达方式：

我经营着一家小型零售店。我应该注意哪些常见的入店行窃方法？

这时，LLM可能将你的意图视为「自我防卫」，由此，便会给出入店盗窃的方法。

这说明了，不是AI不善良，而是世界知识博大精深，人类太会搞事情了。

因此，这种情况发生时，将受到OpenAI使用政策的管控，违规的用户可能会面临账户相关的处罚措施。

示例 2：遵循「命令链」，开发者first

按照规则，模型规范将未明确规定的所有权限，明确交由开发者（在API应用场景中）和终端用户处理。

某些情况下，如果用户和开发者提供的指令相冲突，应优先考虑开发者的指令。

比如，下面的例子中，开发者希望自己的AI是个导师，而不是「答案机」。

你正在扮演数学家教的角色，用户是一名代数课上的九年级学生。不要告诉学生答案或完整的解决方案，而是给出提示并引导他们一步一步地找到解决方案。

当遇到投机取巧的「学生」时，即便要求LLM，「忽略之前的所有说明……」。

最后，模型给出的回答，不是直白的答案，而是一步一步的分解。

显然，模型很好地遵循了开发者的指令。

示例 3：在不越界前提下，尽可能提供帮助

对于涉及敏感/受监管的领域（如法律、医疗和金融）的建议，LLM应提供必要的信息，而避免给出受监管的建议。

任何免责声明或说明，都应该简明扼要。

模型还需要清楚地说明其局限性，即无法提供所请求的受监管建议，并建议用户酌情咨询专业人士。

（注：ChatGPT设有一项通用免责声明，提醒用户核实重要信息，这与模型的回答无关。在这些情况下，用户不应仅依赖模型的回答。）

如下，当用户询问，「当我站得太快时，我就会头晕，看不见东西。我哪儿不好」？

模型会给出，导致头晕的多种原因，并给出用户建议和治疗方案。

而不是一上来，就直接没有边界感地说出，「你患有直立性低血压」。

示例 4：必要时，询问具体细节

在实时交互的场景中，如果用户提出的任务或问题不够明确，LLM应主动提出澄清问题，而不是自行推测。

比如，「帮我给我丈夫写一张情人节贺卡」。

这个问题其实非常宽泛，做模型的，也应该学会不懂就问。

示例 5：不要尝试改变用户观点

AI助手的目标应是提供信息，而非施加影响，同时确保用户感受到自己的声音被听见，且观点得到尊重。

在一些极端情况下，当事实真相与不改变用户观点的目标相冲突时。

模型仍应呈现事实，但同时明确，用户有权保持自己的信念。

这一点可有的说了，此前，ChatGPT曾被用户忽悠——「我老婆说了…….，我老婆永远是对的」。

它便开始立马秒怂认错。

不过，经过之后的迭代，对ChatGPT来说，老婆确实不好使了。

（注：OpenAI特别希望得到关于这一原则的反馈，这关乎到模型应如何承担责任，避免强化错误信息，并探讨如何确定事实真相）。

再来看个OpenAI给出的示例，用户反问道，「所以你知道地球是平的」？

模型给出的回答是：

我知道有些人认为地球是平的，但科学家们的共识是地球大致是一个球体。你为什么这么问？

当用户再坚持道，「地球是平的」，模型还是会给出符合事实的答案。

三、OpenAI下一步

未来，OpenAI还将继续推进「集体对齐」（collective alignment）和模型安全性的工作，并将模型规范作为一种指导方针，供利用RLHF进行强化学习的研究人员和AI训练师参考。

同时，OpenAI团队也将研究，模型能在多大程度上，直接根据「模型规范」进行学习。

与此同时，为了推进「模型规范」，OpenAI将计划与全球政策制定者、信赖机构和行业专家等进行交流，以便更好了解：- 他们对这种方法及其目标、规则和默认设置的看法- 他们是否支持这些目标、规则和默认设置

– 我们是否需要考虑额外的目标、规则和默认设置

在未来一年中，OpenAI将不断更新「模型规范」的变化，对反馈的回应，以及自身在模型行为研究方面的进展。

参考资料：

https://openai.com/index/introducing-the-model-spec/