这是 Mistral 创始人 Arthur Mensch 在美国红杉 AI 活动上关于开源大模型与未来发展的分享。Arthur 表示，未来 5 年，AI 将向更加自主的智能体 Agent 和助手发展，能完成越来越多复杂任务，制作这样的智能体将变得越来越容易。

AI 技术将通过自然语言交互得以广泛控制和使用，到一定程度时，”开发者”与”用户”的界限将变得模糊，普通用户也能创建定制的 AI 助手工具。

另外，AI 部署将趋向于更多状态化的形式，与数据和上下文紧密关联，而非当前的无状态 API 调用模式，状态数据可能存储在数据云平台中。未来几年，LLM 领域可能还将出现一些协调和整合，尤其是在开源模型方面，以利于全行业发展。

从当前到未来，LLM 将呈现从小型模型到超大型模型的全尺寸覆盖，以平衡不同场景下的延迟和能力需求。评估 LLM 表现、持续改进模型，以及自动化提示工程将是亟待解决的痛点，需要 AI 技术自身来帮助解决……

以下为 Arthur 与红杉合伙人Matt Miller 的对谈内容：

也许我们可以从你选择创办 Mistral 的背景故事开始，我们都知道你的职业生涯，你在 DeepMind 的成功职业，你在 Chinchilla 论文上的工作，但告诉我们，也许与我们分享一下，那就是让你有了启动并开始脱颖而出，开始创办公司的想法。

我们在 App Hill 创办了这家公司，但我想这个想法在我们成立公司前几个月就已经存在了。Jim 和我在大学时认识，我们在一起上了硕士课程。我们在学校认识，所以我们彼此之间早就认识。我们已经在这个领域研究了 10 年了。

我们喜欢 AI 是因为学术实验室、工业实验室之间的开放交流，每个人都可以在其他人的基础上建立。我想即使在 LLM 时代的开始，当时 OpenAI 和 DeepMind 实际上也在相互贡献。这在2022年停止了。

基本上，最后一篇论文做出重要改变的是 Chinchilla。那是 Google 发布的最后一个重要模型。对我们来说，有点遗憾的是， AI 早在旅程的开始阶段就停止了开放贡献，因为我们离完成它还有很长的路要走。当我们在年底看到 ChatGPT 时。

我想我们反思了一下，认为有机会以不同的方式做事情，从法国开始做事情，因为事实证明，在法国，有很多才华横溢的人在大型科技公司有点厌倦了。我们发现了一个机会，可以通过一个精干的团队、有经验的人才，以很快的速度构建非常强大的开源模型，并试图纠正该领域正在采取的方向。我们想要更大力度地推动开源模型。我们在这方面做得很好，因为我们的轨迹得到了各个公司的关注。

开源运动在很大程度上是开始公司的推动力之一。

这是开始公司的推动力之一，我们的意图和我们给自己的使命是真的要将 AI 带给每一个开发者。我们的竞争对手做事情的方式，到现在为止仍然是非常封闭的。我们想要推动一个更开放的平台，并通过这种策略传播和加速采用。这就是我们开始公司的核心原因。

最近，你们发布了 Mistral Large。你们与微软、Snowflake Databricks等公司达成了惊人的合作。那么你们如何平衡你们将要开源的内容与商业化内容，以及如何考虑权衡。因为这是许多开源公司所面临的问题，他们如何保持社区的活力，同时又如何建立一个成功的业务来为社区做贡献？

这是一个艰难的问题。我们目前通过两个模型系列来解决这个问题，但这可能会随着时间的推移而发展。我们打算继续成为开源领域的领导者，这在一定程度上给开源系列带来了压力，因为显然存在一些竞争者。

与软件供应商采用这种策略的发展方式相比，我们需要走得更快，因为 AI 的发展速度实际上比软件更快，比数据库更快。像 MongoDB 做得非常好。这是我们可以效仿的一个很好的例子，但我们需要更快地适应。

显然存在这种紧张局势，我们不断思考应该如何为社区做出贡献，但同时也要考虑如何展示并开始获得一些商业采用、企业交易等。现在，我们在这方面做得很好。但这是一个非常动态的事情需要考虑。基本上每周我们都在思考接下来应该在两个系列上发布什么。

你们在开发模型方面是最快的，也是最快达到不同基准水平的公司之一，而且在达到这些基准水平方面的支出也是最少的。你认为是什么让你们比你们的前辈更快、更高效地行动？

我们喜欢动手。机器学习一直都是关于处理数字、查看数据，做很多次的转换和加载等很多时候并不令人着迷的工作。我们雇用愿意做这些工作的人，这对我们的速度至关重要，这也是我们想要保持的一点。

除了 LLM ，你们还有几个非常受欢迎的小型模型。你什么时候会告诉人们他们应该花时间与你们合作进行小模型工作，什么时候会告诉他们与你们合作进行 LLM 工作？你认为 Mistral 的经济机会在于做更多的大模型还是做更多的小模型？

这是每个 LLM 提供商都已经意识到的一个观察，即一个尺寸并不适合所有。根据你想要的内容，当你开发一个应用时，你通常会调用不同的 LLM，有些应该是低延迟的，因为它们不需要太多的智能，但有些应该是更高延迟的，需要更多的智能。一个高效的应用程序应该同时利用这两种模型，可能使用 LLM 作为小型模型的编排器。

挑战在于如何确保一切顺利进行，使你最终得到的不仅是一个模型，而且是两个模型加上一个调用你的模型、调用系统、调用函数的循环。

我们也想要解决的一些开发者挑战是如何确保这个系统能够正常运行，如何正确评估它，如何确保能够进行持续集成？如何从一个模型版本转换到另一个模型版本，并确保你的应用程序实际上得到了改进而不是恶化。所有这些问题都被各种公司解决了，但我们认为这些也应该是我们价值主张的核心。

你们看到在 Mistral 上构建的一些最令人兴奋的东西是什么？你们对社区正在做的事情，对客户正在做的事情感到非常兴奋的是什么？

旧金山湾区的几乎每个年轻的初创公司都在使用它进行微调，进行快速应用制作。实际上，Mistral 的价值之一就是它非常快。因此，你可以制作更多复杂的应用程序。我们看到网络搜索公司在使用我们。我们也看到了，所有突出的企业也是如此，比如知识管理、营销等等。能够访问权重意味着你可以更好地倾注自己的编辑风格。

我们看到了典型的用例。价值在于开源部分是开发者有控制权。他们可以在任何地方部署它们。他们可以拥有非常高质量的服务，因为他们可以使用专用实例，而且他们可以修改权重以满足自己的需求，并将性能提升到接近最大模型的水平，同时成本更低。

接下来你认为我们会从你们这里看到什么下一个大动作？比如，你能透露一些即将到来的内容，或者我们应该从 Mistral 那里期待些什么。

当然。我们有， Mistral Large 很不错，但还不够好。我们正在努力改进它。我们在各个垂直领域有一些有趣的开源模型，很快就会公布了。我们的平台目前只是 API，有几个 API。因此我们正在努力实现定制化部分。这实际上就是微调部分。显然，和许多其他公司一样，我们在等，并在未来几个月内，我们也将发布一些。

这个房间里的许多人正在使用 Mistral 模型。我们每天在硅谷生态系统中与你们合作的许多公司已经在使用 Mistral 。他们应该如何与你们合作，以及他们应该如何与公司合作？对他们来说，最好的工作方式是什么？

嗯，他们可以联系我们。我们有一些开发者关系团队，他们真的在推动社区发展，制作指南，还在收集使用案例，展示你可以用 Mistral 模型构建什么。我们非常注重社区，这基本上是使模型更好的一部分。

我们正试图建立的是，我们如何获取评估、基准测试、实际用例，以便我们可以对我们的模型进行评估。了解人们正在使用我们的模型构建什么也是我们能够生成新的开源模型的一种方式。

所以请与我们联系，讨论我们如何帮助，讨论你的使用案例。我们可以宣传它。我们也可以收集一些我们应该添加到我们的评估套件中的新评估的见解，以验证模型随着时间的推移是否变得更好。

在商业方面，我们的模型可以在我们的平台上使用。商业模型实际上比开源模型效果更好。它们也可以在各种云服务提供商上使用，这样就为企业的采用和定制能力提供了便利，比如微调，这确实增强了开源模型的价值，并且很快就会到来。

你谈到了在欧洲的好处，你已经成为这个全球范例，展示了欧洲可以产生什么样的伟大创新，并正在产生。更多地谈谈从法国建立业务的优势以及从欧洲建立这家公司的优势吧。

我猜有优势和劣势，两者都有。我想一个优势是你有一个非常强大的初级人才库。因此，有许多来自法国、波兰和英国的人可以在我们这里接受三个月的培训，迅速上手，基本上可以产出与旧金山湾区一百万美元工程师相当的工作量，成本却只有十分之一，这在效率上是很高的，他们的劳动力非常好。

工程师和机器学习工程师。一般来说，我们得到了国家的很多支持，这在欧洲比在美国更重要。他们倾向于过快地过度监管，正如我们一直告诉他们不要这样做，但他们并不总是听。

总的来说，像欧洲公司喜欢与我们合作，因为我们是欧洲公司，我们在欧洲语言方面更加优势，比如法语，法语模型实际上可能是市场上最强大的法语模型。我想这不算是一个优势，但至少有很多地理上的机会，我们正在利用。

从现在起五年后， Mistral 会处于什么地步？你认为你们会取得什么成就？这个行业的景象会是怎样的？

我们的打赌是基本上， AI 的平台和 Infra 将是开放的。基于此，我们将能够创建辅助工具，然后可能是自主代理。我们相信，通过成为最开放的平台，独立于云提供商等方面，我们可以成为这个平台。

在五年后，我对此的形态几乎没有任何想法。如果你看看 2019 年的情况，我不认为你能预测到我们今天的情况，但我们正在向更加自主的代理不断发展。我们能够完成越来越多的任务。我们的行走方式将会发生根本性的改变，制作这样的代理和辅助工具将会变得越来越容易。

所以现在我们专注于开发者世界。但我预计， AI 技术本身是如此容易通过人类语言来控制，以至于在某个时候，开发者会成为用户。因此，我们正在朝着任何用户都能够创建自己的辅助工具或自主代理的方向发展。我相当确定，五年后，这将成为一项学校中的教学内容。

你如何看待未来开源与商业模型在你公司的发展中的作用？就像你一开始制造了开源软件，如你所提到的，一些商业模型现在甚至更好。你认为在未来几年内这会如何发展？

我想我们优化的一件事就是能够持续制作开源模型，并建立一个可持续的商业模式，以真正推动下一代的发展。正如我所说的，这将随着时间的推移而演变。

为了保持相关性，我们需要在某些方面保持制作开源模型的最佳解决方案，至少是在某个领域。这在很大程度上决定了我们能做些什么，保持在开源世界中的相关性，成为开发者的最佳解决方案，确实是我们的使命，并将继续努力。

除了 Sequoia 的合作伙伴之外，肯定有人有问题，Llama3 和 Facebook 以及你们如何看待与它们的竞争？

嗯，我担心他们正在致力于制作模型，但我不确定它们会是开源的。我不知道那里发生了什么。到目前为止，我们交付速度更快、模型更小，所以我们希望继续这样做。

总的来说，开源的好处是永远不会太多竞争。因为一旦你有了，如果你有几个行动者，通常这应该有利于每个人。如果他们最终变得非常强大，将会有一些协调，我们将欢迎。

你们与 Snowflake 和数据库等公司的合作使你们与其他专有模型提供商不同。例如，与其只是拥有 API 连接，你们在他们的云中运行。你能说说为什么你们做了这些交易，以及你如何看待未来，比如 Databricks 或 Snowflake 在全新的 LM 世界中的发展？

我想你应该问他们。一般来说，如果 AI 模型与数据和基础信息相关联，那么它们就会变得非常强大。事实上，企业数据通常存储在 Snowflake 或 Databricks 上，有时也存储在 AWS 上。

因此，对于客户来说，能够将技术部署在数据所在的地方是相当重要的。预计这种情况将继续下去，尤其是因为我相信我们将转向更加状态化的 AI 部署。

今天我们部署了几个 API，没有太多的状态。它实际上就像 Lambda 函数一样，但随着我们向前发展，随着我们使模型越来越专业化，随着我们使模型更加适用于用例，随着我们使模型更加自我完善，你将不得不管理状态，而这些可能实际上是数据云的一部分。有一个问题是你把 AI 的状态放在哪里。Snowflake 和数据库希望它放在他们的平台上。

很好奇你在开放性和专有性之间划界的位置。你们释放了权重。你是否也愿意分享更多关于你们如何训练模型的信息，如何收集数据的配方，如何进行专家混合训练，或者你只是在权重和其他内容上划线，如何收集数据的配方，如何进行专家混合训练，或者你只是在权重和其他内容上划线。

这是我们的底线。这样做的原因是这是一个非常竞争激烈的领域。与收入的张力一样，为了维持下一代的发展，还有关于你到底公开什么以及什么不公开的张力。

再次强调，这是一个动态的界线。如果每个人都开始这样做，那么我们也可以这样做。但目前，我们不愿意冒这个风险。

实际上，我很好奇当另一家公司发布一个像 Grok 这样的模型的权重时，你们内部会做些什么来学习它。你不能从权重中学到很多东西。我们甚至都没有看。它实际上对我们来说太大了，我们无法部署，我猜他们在使用一种混合专家的标准设置，还有一些我了解的小技巧。

从配方中学到的东西并不多，通过查看权重，你可以尝试推断一些东西，但逆向工程并不容易。它基本上是压缩信息，将信息压缩得足够高，以至于你无法真正找出发生了什么。

好奇你们将专注在哪些模型尺寸上？你的意见是否是你们将继续制作小型模型，还是会做更大的模型？

模型尺寸有点由规模加载确定。这取决于你拥有的计算资源，取决于你要使用的计算 Infra ，你会做出一些选择。你要为训练成本和推理成本进行优化。

显然，在权重之间还有一些因素，根据你对训练成本摊销的权重，你可以压缩模型。但基本上，我们的目标是低延迟并且在推理方面具有相关性。这意味着我们会有一个从小型模型到非常 LLM 的模型家族。

是否有任何计划让 Mistral 扩展到应用程序堆栈？例如， OpenAI 发布了定制 GPTs 和 Assistant API，这是你认为 Mistral 将采取的方向吗？

正如我所说，我们真正专注于首先开发者，但是对于这项技术来说，开发者和用户之间的界限是相当薄弱的。这就是为什么我们发布了一个助手演示工具，叫做 Lusha，它是英语中的猫，这里的重点是向企业提供服务，使他们能够连接他们的数据，连接他们的上下文。

这满足了我们客户的一些需求，我们与许多我们交谈过的人都愿意调整这项技术，但是他们需要一个入口，如果你只是给他们一些 API，他们会说，好吧，但我需要一个集成商。

然后，如果你没有一个集成商出席，这种情况往往如此，那么如果你有一个非社交解决方案，至少可以让他们接受这项技术，并向他们展示他们可以为汽车业务构建什么。这就是为什么我们现在有两个产品提供的原因。第一个是平台，然后我们有 Lusha，这应该发展成为一个企业的标准解决方案。

在什么时候你会划清界限，停止进行问题工程，开始进行微调？因为我的许多朋友和我们的客户都在痛苦地考虑他们应该停止进行更多的问题工程。

我认为这是项目中很难解决的头等痛点。问题是，通常你的工作流程应该是，你应该评估什么？并基于此，让你的模型找到一种解决你的任务的方法。

现在，这仍然有点手工。你会有几个提示版本，但这是一些实际上 AI 可以帮助解决的问题。我预计这将随着时间的推移越来越自动化。这是我们愿意尝试和实现的事情。

作为 AI 前沿的创始人，你是如何平衡探索和利用的？你自己如何保持对一个不断发展、日益庞大和深入的领域保持领先地位，你是如何应对的？

这个问题在科学部门、产品部门和商业部门都有探索。平衡的方式对于一家初创公司来说确实很困难。你必须进行大量的开发，因为你需要快速交付。但是就科学部门而言，我们有两三个人专门负责下一代模型的研究，有时候他们会浪费时间。如果你不这样做，你就有可能变得无关紧要。

对于项目部门来说，这也是非常真实的。能够尝试新功能并看看它们的效果是我们必须做的事情。在商业部门，你永远不知道谁实际上已经成熟到可以使用你的技术。

开发和探索之间的平衡是我们在科学水平上很擅长的，因为我们已经做了多年了，而且这种平衡在项目和商业方面也会体现出来。但我想我们目前还在学习如何正确地做到这一点。

在 2 年的范围内，发布了 LLM 、小型模型，这些模型像风暴一样席卷了世界。具有强大的市场推广合作伙伴关系，你们在 AI 生态系统的中心势头强劲。你会给这里的创始人什么建议？你所取得的成就确实非同寻常。对于在不同级别开始、运行和建立自己的企业以及 AI 机会周围的人，你会给予什么建议？

我想说的是，永远是第一天。我想，我们获得了一些心智份额，但是还有许多证明点需要建立。作为创始人，基本上每天都会醒来，发现你需要每次都从零开始构建一切。这有点令人筋疲力尽，但它也是夸张的。我建议要有很高的抱负，通常更有抱负可以使你走得更远。你应该胸怀大志，这将是我的建议。