在人工智能领域，大型语言模型（LLM）的进化正处在一个关键的分岔口，其中多模态能力、成本效率和代码推理能力是未来发展的三大核心方向。文章深入分析了OpenAI和Anthropic这两家在LLM领域处于领先地位的公司，它们在2024年的技术动态、产品发展和人才变动，揭示了它们在LLM进化路径上的不同选择和战略重点。

头部模型的新一代模型的是市场观测、理解 LLM 走向的风向标。

即将发布的 OpenAI GPT-Next 和 Anthropic Claude 3.5 Opus 无疑是 AGI 下半场最关键的事件。

本篇研究是拾象团队对 OpenAI 和 Anthropic 在 2024 年至今重要技术动作、产品投入、团队变化的总结和分析，我们希望从这些关键细节来理解头部模型公司的核心主线，更深入地把握 LLM 的进化方向。

在这个过程中，我们很明显能感受到，虽然 OpenAI 和 Anthropic 的新一代模型都选择了 self-play RL 技术路线，但两家公司其实在 LLM 接下来要怎么进化的问题上出现了分叉：

• 对于 OpenAI 来说，模型成本下降和多模态能力的提升是最重要的主线，4o-mini 的发布就比最早的 GPT-4 成本下降了 150 倍，并且 OpenAI 也在积极地尝试新的产品方向；
• Anthropic 的关注点显然放在了推理能力上，尤其是在代码生成能力上下功夫。在模型产品线上，也能感受到 Anthropic 明确的取舍，多模态不是它们的未来重心，尤其视频生成是一定不会在产品中加入的。

OpenAI 和 Anthropic 之间的差异既和创始人风格、团队技术审美、商业 roadmap 等因素相关，也是 LLM 领域各派声音的集中呈现。

本系列会保持半年一次的更新频率，希望为市场理解 LLM 带来方向性启发。

01. 模型更新

OpenAI

主线 1：成本下降

LLM 大模型的成本下降趋势是非常明确的，在 GPT-3.5 和 GPT-4 的模型定价上都体现得尤其明显。

4o 的模型设计初衷除了大家熟知的多模态之外，就是为了推理成本优化而设计的。在这基础上，甚至 4o-mini 可以再下降 33 倍的成本，这个成本下降幅度是非常惊人的。

我们相信未来随着时间推进和工程 infra 的优化，4o 模型可能还有 10 倍的成本下降空间，很多当前模型能力下的 use case 都能迎来 ROI 打正的时刻。

同时值得一提的是，OpenAI 推出了新的 batch API 方案：API 不实时返回结果，而是在未来 24 小时内返回结果，这能使 API 价格打对折。这适用于对时间不敏感的大批量任务，可以大量节省成本。这个方法能降成本是因为目前的实时推理中 long context 和短的会放在一个 batch 中处理浪费很多资源，而降低实时性能够将相 context length 放在一起计算来降低成本。

OpenAI 还没有推出 Anthropic 使用的 prompt caching，不确定是否已经用类似方式进行降本了：Claude 在 long context 下可以通过把部分常用 prompt 存在缓存中来节省 90% 成本，降低 85% latency。这个方法在 RL 技术路线下会非常有用，因为模型 self-play 探索时会有大量重复 context。

另外 4o 对多语言数据的 tokenizer 效率提升，也能带来更低的成本。多语种在压缩过程中的 token 消耗量都显著降低，例如一句话原本需要 34 个中文 token，现在 24 个就能够实现。

主线 2：多模态交互能力提升

模型能力角度上，OpenAI 在今年上半年最大的进展在多模态能力上：

理解侧

1）GPT-4o 模型的发布实现了端到端的多模态能力，在语音对话和多模态能力上有明显提升的同时，降低了成本且没有降低推理能力。其语音功能至今仍未大面积推出， advanced mode 还在缓慢 roll out 中。

speech-to-text：显著领先于 Whisper。端到端模型在语音上显示出了一定的 emergent capability，比如何时能打断并介入与用户的对话。等大规模铺开后在语音陪伴等场景的 PMF 可能迎来新一波的机会。

视觉理解：显著高于其他模型，但没有出现多模态 unify 带来的智能涌现。视频数据的信噪比太低，在当前架构下和文本数据放在一起，并没有带来显著的多模态智能，这是多模态理解领域上需要解决的问题。

生成侧：

a. 在 vision 方面发布了 Sora 视频生成模型，Sora 发布后视频生成领域的 SOTA 暂时收敛到了 DiT 架构。由于 Sora 目前还在 demo 阶段，我们预期下半年会发布给公众使用。

b. 4o 模型作为一个端到端生成模型，也在探索用端到端 autoregressive 的方式生成图片。

Anthropic

主线 1：模型推理能力增强

2024 年上半年，Anthropic 在 Claude 模型系列上取得了显著进展。3 月 4 日，公司推出了 Claude 3 系列，包括 Opus、Sonnet 和 Haiku 三个版本，每个版本都针对不同的应用场景和需求进行了优化。President Daniela Amodei 在最近的一次公开分享中提到，他们设计时的想法是 ：

• Opus 为复杂推理、研究场景设计。Opus 是第一个超越 GPT-4 的模型，但定价偏高性价比差。

• Sonnet 是为企业常用需求如 RAG 设计的，可能是因此第一个做了 3.5 版本。

• Haiku 是为实时性强的客服等对话场景设计（由此推测，他们也可能在 voice 领域推出端到端模型）。

6 月 21 日 Anthropic 又发布了 Claude 3.5 Sonnet，进一步提升了模型的性能和能力。Anthropic 还预告将在 2024 年晚些时候推出 Claude 3.5 系列，包括 Haiku 和 Opus 版本。Opus 版本是最值得期待的，看其是否能够大幅超越 GPT-4 的推理水平。

在性能方面，Claude 模型取得了很大进步。

Claude 3.5 Sonnet 在很多领域的表现超越了 GPT-4，特别是在研究生级推理和编程能力方面。直到 9 月，其他所有模型的更新都无法在 Coding 和复杂推理能力上超越 Sonnet 3.5。

其 coding 能力提升也带来了一系列 AI coding 产品的实现：Cursor 作为 IDE 的开发体验一下子流畅了很多，甚至 Websim 这样在上半年看起来是 toy project 的产品在现在也有了不错的效果。背后原因都是 Claude Sonnet 3.5 能生成上百行的可靠代码，而之前的 SOTA 模型只能生成 20 行左右。

模型的其他维度能力也在各个 use case 得到了全面扩展。Claude 3.5 Sonnet 的推理速度是 Claude 3 Opus 的两倍，可以处理 200K token 的上下文窗口，相当于约 500 页文档的内容。多模态能力也得到显著增强，特别是在视觉理解方面，包括图表解读和从不完美图像中准确转录文本的能力。

主线 2：模型拟人能力增强

Anthropic 首次在 Claude 3 系列中引入了”性格训练”（Character Training），这项能力是在 post training 加入的。这项创新旨在赋予模型良好的性格特征，通过生成数据和自我排序来内化这些特征。这不仅提高了模型的吸引力和互动性，用户反馈也表明与模型的对话变得更加有趣。

训练方式：首先要求 Claude 生成各种与特定性格特征相关的人类消息——例如，关于价值观的问题或关于 Claude 自身的问题。然后向 Claude 展示这些性格特征，并让它针对每条消息产生符合其性格的不同回应。之后，Claude 会根据每个回应与其性格的契合程度对这些回答进行排序。通过对这些回答的排序训练一个偏好模型，我们可以教导 Claude 内化其性格特征，而无需人类的交互或反馈。

尽管这个训练流程仅使用 Claude 自身生成的合成数据，但构建和调整这些特征仍然是一个相对手动的过程，需要人类研究人员密切检查每个特征如何改变模型的行为。

这个方向结合他们的 interpretability 的研究，可以看到他们在模型的可控性上下了很多功夫。

用户评价

我们也收集了一系列用户对 4o 模型和 Claude 3.5 的用户使用评价：

GPT-4o 优势：

• 速度快，响应迅速：在 iOS 应用中使用 GPT-4o 时，几乎感觉不到延迟，能够实现类似实时对话的体验。
• 多模态能力强：GPT-4o 有更完备的语音对话和图片识别能力，且语音识别准确度、对话智能度很高，还有创作图片的能力。
• 在一般对话和简单任务中表现良好。
• ROI 高：用户普遍表示，对于需要频繁使用 AI 但预算有限的情况，GPT-4o 提供了很好的性价比。

GPT-4o 劣势：

• 在复杂推理、数学和编程任务中表现不佳 ：例如有用户提到在使用 GPT-4o 编写 C++的类型定义时，4o 不能特别好的理解复杂需求。
• 输出冗长，常忽视简洁指令：即使用户明确要求简短回答，GPT-4o 仍倾向于提供详细解释，有时甚至重写整个段落/代码块而非只给出必要修改。
• 在专业问题下不如早期的 GPT-4 版本：一些用户提到在处理特定领域的专业问题时，GPT-4o 的表现不如早期的 GPT-4 模型，可能和其模型进行量化降成本有关。

Claude 3.5 Sonnet 优势：

• 在复杂推理、长文本处理和编程方面表现优异：多位用户提到 Claude 在处理 C#和 C++等编程语言的复杂任务时表现出色，能够准确理解和执行复杂指令。
• 更好地遵循复杂指令：用户发现 Claude 能够准确执行多步骤任务，如在学术研究中按特定格式生成报告并同时进行数据分析。
• 创意写作和人性化交流能力强 用户表示 Claude 能够更好地捕捉和模仿特定的写作风格，产生的内容往往更贴近人类作者的水平。
• 在 C#、C++等特定编程语言中表现出色：一位用户提到，在使用 Claude 重写 C#方法时，生成的代码通常可以直接使用。

Claude 3.5 Sonnet 劣势：

• 模型外部能力局限：Claude 无法生成图像，没有实时网络搜索功能，也没有语音交互的能力。
• 某些用户反映最近性能有所下降：有用户提到 Claude 在某些特定领域的回答质量不如以前准确，可能是由于成本优化导致的。

02. 产品进展

OpenAI

用户数据上涨：多模态带动交互创新，4o 让产品再度扩圈。

1）ChatGPT 用量随 4o 的发布大幅增长：

a. OpenAI 的访问量自 2023 年 5 月达到峰值后，因为暑假开始下降，后续变进入波动，直到今年 5 月 GPT-4o  发布后再次飙升，在 2024 年 6 月的访问量达到 2.9 亿次，比 2024 年 5 月增长了 15.6%，而 2024 年 5 月则比历史最高值增长了 40%（2023 年 5 月），GPT-4o 对用户量的拉动是极为明显的。

b. 去年访问量在夏季下降，今年没有出现这种趋势，主要得益于 GPT-4o 推出，OpenAI 能够持续保留和吸引新用户。（一定程度上也得益于 GPT-4o 多模态能力使得 ChatGPT 进一步向生活场景拓展，而非仅仅是一个效率工作产品）。但节日趋势在其他产品上还是明显存在的：C.AI 流量上升，Perplexity 流量下降。

c. 截止到今年 6 月的 Web MAU 约为 2.3 亿，移动端 DAU 约为 320 万。

2）放在搜索引擎语境下，ChatGPT 的用量持续超越 Bing 和 Perplexity，与 Google 仍有量级上的差距，但开始逐渐蚕食传统搜索引擎的心智。

尽管 Google 整体搜索份额还比较稳定在 91%+，但其桌面端被拿份额的趋势比较明显，美国和全球数据都是这个趋势。ISI 发布了一份报告介绍他们对 1000 多名消费者的调查结果。他们注意到，从6月到8月，Google 作为首选搜索引擎的份额从80%下降到74%，而ChatGPT的份额从1%增加到8%。

• 6 月份 ChatGPT / Perplexity 流量略降，Claude 有个跳涨，和 Sonnet 3.5 模型能力显著提升有关。

3）对 AI 产品流量和商业模式的思考

a. 在 AI 时代流量最大的产品不一定产生最大的价值，完成任务的难度更重要。这个观点的前提是广告模式不是 AI 时代最后的 business model。

b. 大模型公司的商业模式不比移动互联网简单，更像传统零售的库存模式：资源都分配给训练用户用不上产品，那就是库存积压；资源给推理太多模型能力跟不上，是库存短缺。

c. 目前看到的大模型公司商业模式，要明显比互联网广告和软件订阅的商业模式差很多。后两者最重要的特征是 ① 提供服务的边际成本几乎是零，或是持续显著下降。② 黏性/用户留存极强。意味着企业只要投入建立平台/软件产品及获客，后续收入的利润率极高，且持续性很强。大模型无论是 API 还是订阅制，定价端很难提价，而随着模型能力增强，用户query/任务会更加复杂，服务用户需求的成本还可能是上升的。

从生产力助手到 Agent 探索：

feature 更新和收购并行

根据 chatgpt 今年 1 月-7 月的产品升级，可以发现如下几个趋势，他们是明显在从生产力助手往 agent 方向在探索：

• 新的交互模式已经有了雏形，在日常生活中的应用场景大大扩宽：通过对多模态能力的不断强化，目前能够对图片进行解读、翻译和推荐、实时语音交流、屏幕读取功能。

• 工作效率产品逐渐完善：针对数据分析需求，ChatGPT 新增了与云存储服务如 Google Drive 和 Microsoft OneDrive 的直接集成，以及实时表格交互和可定制的图表功能。

• 在逐步搭建生态系统，尽可能多的平台整合：与苹果等大平台的整合，推出桌面版，提升了在不同操作系统和应用中的可用性和用户接触点。

• memory 功能加入：目前还只是把文字内容总结成简单的一个标签放进 system prompt。下一步结合 Rockset 的收购可能为外部互联网和每个用户的聊天记录建立 index，做到更强的个性化。

同时也值得分析一下他们是收购三家公司的价值，和他们实现 agent 的愿景高度相关：

1）Rockset（2024 年 6 月收购）：

Rockset 是一家专注于实时分析数据库的公司，以其先进的数据索引和查询能力而闻名，成立于 2016 年。OpenAI 收购 Rockset 的战略动机主要是为了增强其检索基础设施。这将使 OpenAI 能够提供更强大和高效的数据处理能力，特别是在实时搜索和 RAG 上。此次收购预计将显著提升 OpenAI 在数据 retrieval、分析和检索方面的能力，使其 AI 解决方案更加强大，能更好地响应实时数据需求。这也增强了 OpenAI 在与其他 AI 模型提供商和全栈生成 AI 平台竞争时的技术实力。

此外，未来的 agent 中最关键的工程设计在于 memory 的设计，前面这套在 RAG 和 search 的方案也可以用在未来 agent 的记忆机制上。

2）Multi（原 Remotion，2024 年 6 月收购）：

Multi 是一家开发实时协作工具的初创公司，允许用户共享屏幕并在编码等任务上协同工作。OpenAI 收购 Multi 的战略目的是利用其技术来增强远程协作能力和 AI 驱动的内容摘要功能。这与 OpenAI 通过 AI 改善团队协作和生产力的更广泛目标相一致。这次收购的一个重要意义可能是实现未来人与 AI agent 在屏幕前的共同协作。

3）Global Illumination（2023 年 8 月收购）：

Global Illumination 是一家专注于创意工具、基础设施和数字体验的公司，由来自 Instagram、Facebook、YouTube、Google、Pixar 和 Riot Games 的前关键设计师创立。收购 Global Illumination 的目的是增强 OpenAI 的核心产品，包括 ChatGPT。此外我们也猜想，他们之前的产品也可能适合成为 virtual agent 的进行强化学习的交互环境。

Anthropic

交互：Artifact 时软件生成 task engine 的早期形态

Artifacts 是我们使用 Claude 产品时会出现的动态 workspace，能把我们需要完成的任务转换成代码，并用代码的方式来实现基础的任务。我们可以认为它是 OpenAI Code Interpreter 基础上对 UI/UX 的创新。

Claude 团队给 Artifact 的未来定位是企业团队将能够安全地将他们的知识、文档和正在进行的工作集中在一个 Artifact 这个 workspace 中进行交互，而 Claude 则根据需求作为 copilot 对这个workspace 进行交互。所以可以认为 Artifact 是 Anthropic 团队对下一代 AI-native 协作平台和工作流的想象。

在实际使用场景中，现在还是开发者使用 artifact 制作初步代码比较多：

• 示例一：一行 prompt 制作日历 app，artifact 直接呈现出 code 和 UI，不需要自己动手写基础代码

• 示例二：上传一本书后，边读边通过 artifact 总结每一页的内容

Agent 探索：

还在 tool use 阶段，未来 roadmap 可期

Tool use 能力的提升标志着 Anthropic 在 agent 技术上比较稳健的一次进步。2024 年 5 月，Anthropic 为 Claude 3 系列模型增加了与外部工具和 API 交互的能力，这一进展大大拓展了模型的实用性。这项功能使得 Claude 能够执行更为复杂和实际的任务，不再局限于纯粹的文本生成。用户只需用自然语言描述他们的需求，Claude 就能智能地选择合适的工具并执行相应的操作。这种自然语言接口大大降低了使用门槛，使得即使非技术背景的用户也能轻松地利用 AI 的强大能力。

Anthropic 展示的 agent 应用场景涵盖了多个领域，充分体现了其技术的广泛适用性和潜力。首先，在数据处理方面，Claude 能够从非结构化文本中提取结构化数据，这对于自动化数据录入和分析具有重要意义。其次，Claude 可以将自然语言请求转换为结构化 API 调用，这大大简化了系统间的交互过程。在信息检索方面，Claude 能够通过搜索数据库或使用 Web API 来回答问题，提供即时且准确的信息。对于日常任务自动化，Claude 可以通过软件 API 执行简单任务，提高工作效率。

其中最特别的一个例子是 Claude 能够协调多个快速子 agent 来完成细粒度任务，这是复杂任务的分解和并行处理的未来方向。这种阶梯式的模型分工方法可能涉及多个专门化的 agent 协同工作，每个 agent 负责特定的任务或领域。这种架构不仅能提高整体系统的效率和灵活性，还能更好地处理复杂的多步骤任务。通过让不同的子代理各司其职，系统可以更有效地利用资源，并且能够根据任务的需求动态调整工作流程。

Anthropic 在官网公布了他们的未来方向，其中他们对 agent 的长期规划是宏大而全面的：

• 知识融合（结合多个领域的交叉知识）

• 超越现有训练数据、本科生水平的知识推理

• 自主执行端到端科研项目

• 提出新假设和设计的能力

• 隐性知识（只能通过在实验室中的学徒制获得的那种知识）

• 需要做出连续决策才能实现的 long horizon task

• 自动化数据分析

这些能力的实现都会和我们期待的 agent 有着方向上的汇合。仔细看会发现 Anthropic 对 AI 的期待很多都落在软件和科学发现上。

03. 人才更新

OpenAI

OpenAI 依旧保持快速增长状态，已经从纯粹的 AI Lab 演进至更加工程、产品、收入导向的公司。公司目前有 400 名以上的 Researcher，超过 1200 位非研究类员工，包含工程、销售、产品、后台支持等，对比 2023 的 770 人增加近乎一倍。

从招聘侧重点看，近三个月，有 460 人新加入 OpenAI，其中 Member of Technical Staff 依旧占主要，共有 130 人，偏工程类员工占整体 MTS new hire 的 80%。Go-to-market 是招聘数量第二多的团队，新招聘 46 人。产品新招聘 24 人，其中包括新加入的 CPO Kevin Weil。

离开的关键人才

• Ilya 于 2024 年 5 月与 SuperAlignment Co-lead Jan Leike 接连离职。Ilya 在离职后创办了 SSI，致力于构建安全超级智能 。而 GPT-4 的核心人物 Jakub 接任了 Chief Scientist 的角色。Ilya 对于 OpenAI 是指明方向的灵魂人物。但也有观点是 Ilya 的远见对于 OpenAI 初期带来很大帮助，但在 OpenAI 已经明确远期方向后，Illya离开的影响并不大。

• 同样为 OpenAI 早期灵魂人物的 Greg 会休假至年底后再回归公司。

• Andrej Karpathy 在加入 OpenAI 一年后于 2024 年 2 月离开 OpenAI，离职后创办 Eureka Labs 的 AI 课程教育公司，自己担任讲师帮助学生更好理解 AI 与 LLM 训练。

• John Schulman 离开 OpenAI 加入 Anthropic。晋升为 alignment lead 前，John 曾是 reinforcement learning team lead，是 RLHF 的开创者，确定了 OpenAI RL 的路线。John 是 OpenAI 创始团队之一，师从 Pieter Abbeel。离开 OpenAI 后，John 加入 Anthropic。

• Jan Leike 跟随 Ilya 一同离职后加入 Anthropic，继续负责 Alignment 方向工作。John Schulman 和 Jan Leike 的加入意味着 OpenAI 的研究路线图对于 Anthropic 团队几乎是一张明牌。

• Peter Deng 作为 Product VP 离开 OpenAI，Kevin Weil 作为 OpenAI 新加入的 CPO 继续领导 OpenAI 的产品工作。Kevin 在加入 OpenAI 前为 Meta Diem、Instagram 的 VP of product，在 Instagram 任职期间帮助 Instagram 在与 Snap 竞争阶段获得优势。从 Peter 的离职也能感受到 OpenAI 对新产品开发落地的激进程度。

• Aleksander Madry 于一年前从 MIT 教职暂时离开，加入 OpenAI 创办 Preparedness 团队，目标是通过理论研究帮助 OpenAI 提前控制可能发生的重大风险。Aleksander 于 2024 年 7 月离开，接任者为 Joaquin Quiñonero Candela，加入 OpenAI 半年时间，先前在 Meta 带领 Responsible AI 团队近九年。

• Jeffrey Wu 是 GPT- 2 的核心贡献者，参与了 GPT 的可解释性、可拓展监督方向的工作。也作为核心参与了 InstructGPT 这一 RLHF 的重要项目。Jeffrey 于 OpenAI 任职 6 年，于 2024 年 7 月离职，加入 Anthropic。

• Yuri Burda 是 OpenAI reasoning team 的创始成员之一，负责 OpenAI 的数学方向研究，并于早期项目：Dota、Codex 中有核心贡献。离开 OpenAI 后 Yuri 加入 Anthropic。

值得关注的新团队和岗位

我们也观察到 OpenAI 出现了一些新的小组：

1）Solution Architect

在 Success Team 下新增了 Solutions Architect 团队，隶属于 Success Team 下。目前整体团队大约 20 人，均为一年内加入 OpenAI，对 Enterprise 提供整体部署解决方案。Solutions Architect 团队源于 OpenAI 的策略调整：OpenAI 为了防御 Azure 捆绑销售策略下的折扣定价，承诺可以为大客户根据需求定制软件。

2）集群硬件

OpenAI 从 0 到 1 搭建了新的硬件团队。从团队配置看，更像是计划搭建数据中心集群所需要的人才。目前硬件团队还是一个不到 10 人的小团队，由 Richard Ho 带领。Richard 先前于 Google 任职近十年，是 Google TPU 的 Senior Engineer Director。先前有报告提及 OpenAI 至少要等到 2025 年才可以自己开发芯片，并且目前在与博通商讨合作设计的形式，Richard 做为 Google TPU 的负责人，在 OpenAI 的定位会是 lead 起 co-design 任务的角色。

Richard 团队内，Reza Khiabani 先前于 Tesla Dojo、Google TPU 负责数据中心液冷方向工作。Xin Li 先前于 Google 负责数据中心电源工作。

3）投资了 Opal 团队

此外，消费硬件层面，OpenAI 于 2024 年 8 月投资了 Opal，有可能在之后一起合作 AI 硬件。Opal 的产品为高清摄像头，并且十分重视设计。

Opal 于 2020 年成立，是一个 15 人的小团队。创始团队为 Uber 背景。CEO Veeraj Chugh 在创办 Opal 前于 Uber 任职 3 年，先后负责 Uber Freight、Uber New Mobility 的产品运营工作。Co-founder Stefan Sohlstrom 是设计背景出身，2014 年作为第 5 号员工加入 Plaid，担任 Plaid 的 Head of Design。2017 年开始于 Uber Freight 从设计职责转换成产品经理，成为 Uber Freight Shipper Platform 的产品 Head。

4）Model Behavior scientist

对于 Model Behavior 研究人员的招募可能揭示 OpenAI 希望增强模型的可控性并且希望能够发展新的交互方式，同时提升模型的创造能力。

5）mid-training scientist

Mid-training 已经被正式定义为一个新的训练阶段。其主要环节可能包括一些比较接近模型基本能力的 alignment，与 human feedback 离得相对远、更靠前。

Anthropic

2024 年以来，公司人数从 300 人增加至 500 人左右。2024 起，公司招聘共 180 名新的 Member of Technical Staf，使 Anthropic 整体 Member of Technical 数量达到约 260 人，其中 90 名 Researcher，210 名 Engineer。Anthropic 的第二大招聘重心为产品团队，2024 年前，Anthropic 的产品团队共 10 人，而今年已经是接近 30 名，包含产品经理、Product Partnerships / Marketing 相关员工的团队。

Anthropic 和 OpenAI 相比更看重 Alignment、可解释性、AI 社会影响三个方向研究，也是 Anthropic 官网上 Research 部分的三个主要构成部分。

可解释性团队由 Shan Carter 带领，现已经是 20 余人的团队。Shan 先前于 OpenAI、Google Research 工作，主要负责可解释性方向研究，曾与 Co-founder Chris Olah 于 Google 时参与 Google 重要可解释性研究：The building blocks of interpretability。

可解释性团队在 Claude3 发布后发了一篇新论文：Scaling Monosemanticity:  Extracting Interpretable Features from Claude 3 Sonnet，突破了模型的透明度并且建立了新解决黑盒问题的机制。

除了前面提到的几位从 OpenAI 离职的几位早期重要 researchers 之外，还有这样几位重要 OpenAI / DeepMind 出身的重要科学家加入：

• Pavel Izmailov 自 2023 年 6 月加入 OpenAI，工作一年后离开加入 Anthropic。于 OpenAI 期间 Pavel 是 superalignment 的成员，加入 Anthropic 也有大概率与 Jan 继续合作 alignment 方向工作。

• Steven Bills 于 2022 年 3 月加入 OpenAI，是 superalignment 团队的成员，参与了 OpenAI 发布 GPT 后的可解释性研究：Language models can explain neurons in language models。

• David Choi：David 于 2017 年至 2023 年 12 月于 Deepmind 担任 Staff Research Engineer。先前是 Deepmind 的 AlphaCode Co-lead，是 Deepmind 在 2022 年时的核心代码生成模型。David 在 agent 方向的研究可以追溯至 2019 年与 xAI 的 Igor 共为一作的 AlphaStar 论文。

• Jascha Sohl-Dickstein：Diffusion model 核心一作，曾是 Google 的首席科学家。于 2024 年 1 月加入 Anthropic，此外，Jascha 曾发布了 Score-based SDE，构建了生成 Diffusion 模型理论的框架。

Anthropic 产品团队最大的更新是新 CPO 的加入。Mike Krieger 原先是 Instagram 的 Co-founder & CTO，经历了在 Instagram 被收购后从只有 6 位全栈工程师成长到包含 300 位工程师的 full function 工程团队的过程。Mike 于 2021 年时与 Instagram CEO Kevin 开始做 AI 新闻推送创业 ARTIFACT，于 2024 年 5 月停止项目，加入 Anthropic。Mike 本身的经历和 Anthropic 经历了只有 80+人的小团队，但创造出了 SOTA 模型，之后迅速扩张的过程非常相符。加入 Anthropic 后 Mike 带领 Claude APP，以及企业服务的产品工程、管理、设计工作。

Anthropic 的产品团队自 2024 年也快速扩张，目前 30 位产品成员大多数来自于 Stripe、Google、AWS 三家诞生了出色的 enterprise 产品的公司。

Artifacts

Artifacts 是 Mike 加入 Anthropic 后负责的新产品，外部对 Artifacts 的评价是“又懂模型、又懂产品的人做出的产品”，对比 OpenAI “互联网风格”的产品会更 AI-native。而 Artifacts 的名字和 Logo，都与 Mike 先前创业项目 ARTIFACT 高度相似。

Mike 的 Artifact 项目

Artifacts 与 Claude 的 Logo

与 Mike 一同加入的还有先前共创 Artifact 的工程师 Justin Bisignano。Justin 2020 年加入 Instagram 团队任安卓工程师，所写的代码支持了 20 亿用户。2022 年 7 月加入 Artifact 任职至 2024 年 4 月后加入 Anthropic，负责 Claude 的产品工程方向工作。

04. 研究更新

OpenAI

Prover-Verifier Games improve legibility of language model outputs

新的训练方法：OpenAI 开发了一种称为”Prover-Verifier Games”的新训练方法，旨在平衡模型的性能和可读性。

解决关键问题：这种方法解决了之前模型在性能和可读性之间存在的权衡问题。过去，注重可读性可能导致幻觉（hallucination），而过度注重正确性则可能降低可读性。

训练机制：

• 使用一个强大的模型（prover）和一个较弱的模型（verifier）。

• verifier 经过训练，预测 prover 生成解决方案的正确性。

• prover 被指示扮演”helpful”或”sneaky”角色，分别生成正确或错误的高分解决方案。

• 通过多轮训练，verifier 不断学习识别错误解决方案，迫使 prover 探索新策略。

意义：

• 通过 multi-agent 分工的方式实现，在减少人类直接干预的情况下，实现对超智能 AI 系统的对齐。

CriticGPT, Finding GPT-4’s mistakes with GPT-4

• 基于 GPT-4 开发的模型，旨在发现 ChatGPT 代码输出中的错误。

• 实验表明，使用 CriticGPT 辅助的人在代码审查中，60%的情况下表现优于没有辅助的人。

研究意义：

• OpenAI 正在努力将类似 CriticGPT 的模型集成到他们的 RLHF（Reinforcement Learning from Human Feedback）标注流程中。

• 这将为他们的训练人员提供明确的 AI 辅助。

局限性和未来发展方向：

• 目前 CriticGPT 主要针对较短的 ChatGPT 答案进行训练。

• 未来需要开发能够帮助训练人员理解长期和复杂任务的方法，以便监督未来的 AI 代理。

• 模型仍存在幻觉问题，有时训练人员会因这些幻觉而做出错误标注。

• 当前研究主要关注可在一处指出的错误，未来需要解决分散在多个部分的错误。

• CriticGPT 的辅助能力有限：对于极其复杂的任务或响应，即使是有模型辅助的专家也可能无法正确评估。

长期目标：

• 开发能够处理长文本的能力。

• 最终目标是使用这种技术来监督 AI agent 的训练。

Anthropic

Scaling Monosemanticity, Extracting Interpretable Features from Claude 3 Sonnet

• 使用机器学习中“dictionary learning”的方式，并借助训练大模型的 scaling law techniques，将这个技术沿用到大模型上，从中 isolate 出大模型激活神经元的 pattern，解读模型激活神经元的方式。文章中提到探索了几种能力：

◎ 针对不同 entities（景点如 golden gate，抽象概念如程序 bugs，gender bias），神经元被激活，并且是 multilingual 和 multim – modal 的。

◎ 可以根据激活神经元方式的不同，计算特征之间的“distance”，做近邻计算。

◎ 可以人为改变特征被激活的方式，会直接影响模型生成的答案。也能从中发现一些模型可能被潜在激活的不好的方向，为之后监控这些潜在威胁        提供了工具。

• Anthropic 真正做到了 interpretability 的 scale-up：使用 sparse autoencoder 来做到解读神经网络中的 feature。之前主要使用数学统计模型无法 scale-up，sparse autoencoder 的稀疏性可以很好的捕捉到一些关键点，其他不关键信息在 vector 中都不会激活。

• 对比 OpenAI 的可解释性工作：

◎ OpenAI 的研究较为浅层，主要捕捉 LLM 的行为模式；Anthropic 的研究更深入，挖掘到了不同单词和实体在神经元激活上的规律。

◎ Anthropic 的研究通过干预可以直接改变模型的输出结果，而 OpenAI 的研究主要停留在观察层面。

这几篇研究可以看出一些对 RL 方向研究的端倪，也可以发现 Anthropic 团队对可解释性的追求是更强的，很可能他们未来会给予可解释性设计更多的模型可控性feature。我们也期待这些研究能带来下一波 AI-native use case 的解锁。