大语言模型提示中，竟有不少「怪癖」：重复某些内容，准确性就大大提高；人名变匿名，准确性就大大下降。最近，马里兰OpenAI等机构的30多位研究者，首次对LLM的提示技术进行了大规模系统研究，并发布75页详尽报告。

在基准测试上频频屠榜的大模型们，竟然被一道简单的逻辑推理题打得全军覆没？最近，研究机构LAION的几位作者共同发表了一篇文章，以「爱丽丝梦游仙境」为启发涉及了一系列简单的推理问题，揭示了LLM基准测试的盲区。

LLM有记忆能力吗？有，也没有。虽然ChatGPT聊天时好像可以记住你之前说的话，但实际上，模型在推理时记不住任何内容，而且它们在训练时的记忆方式也不像我们想象的那么简单。

提示工程已经成为了热门话题，无论是CO-STAR框架构建提示词，使用分隔符将提示词分段，使用LLM护栏创建系统提示，还是仅使用LLM（无需插件或代码）分析数据集，用户都将拥有全新的使用体验。

赶超GPT-4的阶段性升级，可以看作是国产大模型有序迭代部署、不断拉近差距的标志，切莫像手机跑分那样，在过度营销的作用下，沦为被群嘲的对象。

本文原始内容编写自 2023 年 6 月，在 2024 年 Sora 诞生之际再翻出来这个结论 refine 发出来。

LongRoPE方法首次将LLM的窗口扩展到了2048k个token，只是简单微调的情况下，就能实现与短上下文窗口相近的性能！

本文是基于过去对AI整个行业的观察得出的猜想，等到年末，可以验证一下这些里面有多少是符合的。

时隔9个月之后，meta正式发布了Llama3的正式版。模型已经上架，8B和70B模型已经开源，可以免费商用（限制月活不的超越7亿），还有哪些新的信息呢？

自从ChatGPT发布之后，大模型对知识整理、归纳、推理、总结方面强大的能力引起了大家的关注。而银行领域的专业性和特殊性，更要求自己构建LLM产品。本文针对银行使用大模型的场景、方式进行了详细的分析，并给出了银行做大模型的实践样例，供大家参考。

生成式AI过去一年群雄逐鹿，大家都在卷参数卷表达，但Kimi的入局，让大家好像突然找到了方向——原来“长文本”才是大家需要的。于是各个大模型都开始卷入长文本大战，但方向对了吗？且看作者的分析。

人工智能领域正在如火如荼地发展，随着诸如ChatGPT、Claude、Gemini、Sora和Grok等平台的不断涌现，AI技术和模型持续演进，引发人们对通用人工智能（AGI）的浓厚兴趣。 在这一备受关注的话题中，人们常常将GPT和AGI的概念混淆在一起。 有人称赞GPT是新的工业革命，有人则认为当前的人工智能技术已进入AGI时代或即将迈入。 尽管GPT系列模型凭借出色的自然语言生成能力和广泛的应用声名鹊起，但我们不能忽视的是，GPT模型虽擅长处理大量文本数据和执行各种语言任务，但并非等同于通用人工智能。 GPT展现的智能只是人工智能技术中的一小部分，其重点在语言理解与生成，而AGI则追求跨领域、多任务的全面深厚智能。 因此，理性地认识GPT与AGI之间的区别至关重要。 本文旨在探讨当前最新人工智能技术的成就，梳理和分析通用人工智能的发展脉络，尽管GPT备受瞩目，却并非AI通向AGI的全部旅程。