Meta已在训练比Llama 3更强大的后继产品

0 评论 3893 浏览 2 收藏 7 分钟

根据Meta公司首席人工智能科学家Yann LeCun的说法,今天发布的开源Llama 3人工智能模型只是一个开始。他表示,一个新的、更大规模的版本正在开发中。

周四上午,Meta发布了其最新的人工智能模型Llama 3,宣称这是有史以来最强大的开源模型,任何人都可以使用。

同一天下午,Meta的首席人工智能科学家Yann LeCun宣布,一个更强大的后继产品正在开发中。他暗示这款新模型有潜力超越当前世界上最优秀的封闭式AI模型,包括OpenAI的GPT-4和Google的Gemini。

Meta今天发布了两个版本的Llama 3,一个拥有80亿参数,另一个则有700亿参数。参数数量是行业术语,大致能表明模型的能力。LeCun表示,更大的模型正在研发中,其中最强大的模型参数超过4000亿,目前正在训练中。

LeCun在麻省理工学院举行的“想象力行动”会议上表示:“精调需要很长时间,但未来几个月将推出这些模型的多种变体。”目前尚不清楚何时会发布超过4000亿参数的模型。

Meta于周二推出了一款名为Meta AI的新助手,基于Llama 3,公司表示测试显示这些模型优于以往具有类似参数数量的开源模型。尽管像Google和OpenAI这样的大型AI开发商保持其技术的封闭,但LeCun预测开源AI模型将更快进步。理论上,他说,这将更快地推动AI向人类水平智能迈进。

LeCun指出,广泛的软件行业的观察显示开源技术最终将胜出。他说,开放的方法已经成为软件基础设施的主导,因为它允许更快地共享改进并更全面地审查代码。“更多人查看代码时,AI会更好,”他说。“基础设施需要是开源的——这样进步更快。”

Meta的开源AI战略已经加速了当前围绕生成性AI的热潮。该公司在2023年7月发布Llama 2模型时,为许多初创公司、研究人员和企业家提供了下载、实验和构建的更强大的AI模型。

OpenAI的GPT-4和Google的Gemini仅通过付费API提供,尽管Google在二月份提供了一个较小的模型Gemma供下载。还有少数其他公司选择加入Meta,发布强大的开源AI模型。

就在几周前,来自初创公司Databricks的一款新模型成为目前可用的最强大的开源变体。如果Meta报告的基准测试分数准确的话,Llama 3似乎更有能力。

LeCun还在周二承认,Meta的策略包括免费提供AI模型,这些模型的研发和计算资源对Meta来说代价高昂。Meta的创始人兼CEO马克·扎克伯格在1月份告诉CNBC,Meta计划在2024年投入数十亿美元购买GPU,用于训练机器学习算法。

同月他宣布,Meta的终极目标——与OpenAI和Google所宣称的相似——是开发所谓的人工通用智能,即可以完成任何和所有人类智能可以做的事情的机器。

扎克伯格今天在Instagram上解释说,Meta将把新的Meta AI助手整合到包括WhatsApp、Instagram、Facebook和Messenger在内的产品中。这款助手由Llama 3驱动。

Meta在其宣布Llama 3的博客文章中表示,公司重点改善了用于开发该模型的训练数据。公司表示,它使用的数据量是其前身Llama 2的七倍。一些人工智能专家指出,Meta发布的数据还显示,创建Llama 3需要巨大的能源来支持所需的服务器。

开源AI模型能力的增长使一些专家担心,这可能使开发网络、化学或生物武器更加容易,甚至可能对人类产生敌意。Meta已经发布了一些工具,公司称这些工具可以帮助确保Llama不会产生可能有害的话语输出。

AI领域的其他人士表示,Meta的Llama模型并不像它们可以的那样开放。公司对模型的开源许可证施加了一些限制,限制了研究人员和开发人员可以构建的内容。

艾伦人工智能研究院的高级应用研究科学家卢卡·索尔达尼在Llama 3发布后的一份声明中表示:“看到越来越多的模型公开释放它们的权重是很棒的事情。”

他补充说:“但开放社区需要访问人工智能管道的所有其他部分——它的数据、训练、日志、代码和评估。这将最终加速我们对这些模型的集体理解。”

参与非营利开源AI项目EleutherAI的AI研究员斯特拉·比德曼表示,Meta对Llama 2的许可证限制了AI研究人员可以进行的实验,并补充说Llama 3的许可证看起来更加限制性。“Meta发布了权重,但它对你可以用它们做什么非常有限制,”比德曼说。

该模型的许可证的一部分规定,拥有“超过7亿月活跃用户”的公司必须从Meta寻求特殊许可——这显然是为了防止该项目帮助公司的最接近竞争对手。

即便如此,Llama 3似乎很可能引发一波新的AI实验热潮。开放AI模型库HuggingFace的CEO克莱门特·德朗格表示,开发者已经基于Llama 2创建了超过30,000个变种。“我确信我们也将看到基于Llama 3的新模型的大量涌现,”他说。“Meta的这一社区举措非常棒。”(Wired)

本文由人人都是产品经理作者【汪仔5037】,微信公众号:【AI新智能】,原创发布于人人都是产品经理,未经许可,禁止转载。题图来自 Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!