AI智识录

看到一位印度的AI工程师Manthan Gupta 通过逆向工程拆解了 ChatGPT 的记忆功能。（原文地址：manthanguptaa.in ） 你会发现大道至简，作为大家公认实现得相对较好的记忆系统，ChatGPT没有用 RAG，而且就几层大家都能想到的信息一起输入： 1.会话元数据：时间、设备、是否付费、活跃度等等 2.当前会话窗口的最新会话和所有历史会话记录（超 token 限制的话截断） 3.跨会话窗口的 15 条左右历史会话摘要，只总结用户提问，不总结模型...

OpenAI成立十周年之际，Sam Altman 写了一封公开信《 Ten Years 》 原文链接：https://openai.com/index/ten-years/ 在小宇宙查看该单集文稿

Manus一直是我们构建AI Agent道路上的好老师，2025年10月Manus的首席科学家Peak Ji（季逸超）和LangChain的创始工程师Lance之间进行了一次深度交流，他们系统性地梳理了上下文工程的核心概念、主流技术框架，并深入分享了Manus AI在构建生产级AI Agent 过程中的前沿实践、创新方法和核心开发哲学。 完整视频链接：bilibili.com 核心要点 * 上下文工程是为解决AI Agent在长时间自主运行中产生的“上下文爆炸”和“上下文腐烂”问题而生...

从prompt工程、到MCP、到Context 工程、再到最近的subagents和claude skills，这两年AI工程领域的新词新概念频出，有时候不反应一下都不知道对方跟自己在聊的是不是同一件事、同一个概念。 Anthropic（Claude）官方11月出炉的长文：《Skills explained: How Skills compares to prompts, Projects, MCP, and subagents》，可以说非常系统明白地解释了上面提到的大部分概念。 原文链接：claude.com 要点 * 五大组件：Claude的生态系...

Google DeepMind 的联合创始人兼 CEO 戴米斯·哈萨比斯（Demis Hassabis）在12月初在旧金山 Axios AI 峰会上进行了一场深度访谈。作为刚刚获得诺贝尔奖的 AI 先驱，他对 AI 的现状、未来以及那些令人兴奋或担忧的议题，有着非常独特的见解。 访谈链接：https://www.youtube.com/watch?v=tDSDR7QILLg 本集内容是基于他核心观点的总结阐述。 在小宇宙查看该单集文稿

了解大模型行业的人应该知道，作为现代LLM基石的Transformer架构，其核心自注意力（Self-Attention）机制的计算复杂度与输入token序列长度（L）呈二次方关系（O(L²)），这构成了严峻的计算和显存瓶颈。当token序列长度加倍时，计算量和显存需求会增长约四倍，极大地限制了模型能够有效处理的上下文长度，成为制约技术发展的关键痛点。 DeepSeek最近发布了最新的V3.2模型及其技术报告，其中有一个非常值得关注的点在于他们将稀疏注...

本次将为大家介绍的是 DeepSeek 团队最新开源的数学推理模型 DeepSeekMath-V2。该模型并非浅尝辄止之作，而是参数规模达 6850 亿的超大模型，其核心优势在于具备可自验证的数学推理能力，在复杂逻辑推导领域展现出突破性表现。​ 在性能验证方面，DeepSeekMath-V2 的表现堪称卓越：其在 2025 年国际数学奥林匹克竞赛（IMO 2025）与 2024 年中国数学奥林匹克竞赛（CMO 2024）中均达成金牌级表现。尤为值得关注的是，在难度极高的 202...

NeurIPS 2025 官方博客发布了2025年最佳论文奖（Best Paper Awards）公告。今年共有 7 篇获奖论文，其中包括 4 篇最佳论文（Best Papers，含一篇数据集与基准测试赛道）和 3 篇亚军论文（Runner-ups）。这些论文涵盖了扩散模型理论、自监督强化学习、大语言模型（LLM）的注意力机制、推理能力、在线学习理论、神经缩放定律（Neural Scaling Laws）以及语言模型多样性的基准测试等前沿领域。 原文链接：blog.neurips.cc 最佳论文奖...

OpenAI前首席科学家Ilya Sutskever最新访谈（Ilya Sutskever – We're moving from the age of scaling to the age of research，www.youtube.com ） llya认为，AI行业正经历一个关键的转折点，即从依赖资源投入的“规模化时代”回归到寻求根本性创新的“研究时代”。他强调，解决AI的泛化能力不足是当前最核心的挑战，并提出了对未来超级智能形态、安全对齐策略以及行业发展路径的深刻见解。 关键要点 * 行业范式转变： 人工智能行业正...

Transformer架构的共同发明者之一 Llion Jones 近期接受了一次访谈（ "I Invented the Transformer. Now I'm Replacing It." ， www.youtube.com ），他在访谈中明确表达了对该技术领域过度饱和及整个行业可能陷入局部最优陷阱的担忧。当前AI社区对Transformer架构的过度专注，类似于其诞生前RNN时代对渐进式改良的痴迷，这种现象被称为“技术捕获”，它在商业和学术压力下严重侵蚀了研究的自由度，不利于颠覆性创新的产生。 作为回...

Google Research团队在11月7日发表了一篇论文《Nested Learning: The Illusion of Deep Learning Architectures》（《嵌套学习：深度学习架构的幻象》，点击左下角“阅读原文”可获取原文）论文指出了当前的大型语言模型（LLM）所面临的一个根本性缺陷：模型的“静态性”。在预训练完成后，这些模型的知识库就被固化了，除了能在有限的“上下文窗口”内处理短期信息外，它们无法持续获取新知识，也无法形成新的长期记忆。这一现象被形象...

今天的内容来自Andrej Karpathy在2025年11月17日发布在X上的文章，内容可以看作是对他2017年那篇《Software2.0》的进一步阐述。 原文链接：x.com 以下是原文翻译： 想跟大家聊聊最近一个关于 AI 对经济影响的挺有意思的讨论。 大家常听到有人把 AI 比作电力啊、工业革命之类的。但在我看来，最恰当的比喻其实是把 AI 看作一种全新的计算范式——也就是所谓的“软件 2.0”（Software 2.0）。为啥呢？因为说到底，这两者本质上都是在解决...

谷歌DeepMind的IMO金牌模型最近首次详细公开了背后的技术架构和训练方法的论文：《Olympiad-level formal mathematical reasoning with reinforcement learning》，论文中的模型延续DeepMind的命名传统，这次叫：AlphaProof 论文地址：www.nature.com 作者Tom Zahavy也趁此机会分享了一些开发过程中的细节。这里有个有意思的地方:AlphaProof团队规模并不大,大部分时间里只有大约10个人,临近IMO比赛时才有更多人加入。真正带来突破...

今天我们来聊聊ImageNet发起人、去年刚刚创办名为WorldLabs的空间智能创业公司的李飞飞教授在2025年11月10日的最新文章：《从文字到世界：空间智能是AI的下一个前沿》，这篇文章已经发布就引起了硅谷的热议。 文章里，李飞飞不仅提出了“真正具有空间智能的世界模型”必须具备的三个核心能力： * 生成（Generative）：能创造遵守物理定律、空间一致的世界； * 多模态（Multimodal）：能处理从图像、视频到动作的多模态输入； * 交互...

本期内容不是文章或论文，而是最近的一次访谈。这次访谈汇聚了六位AI领域的巨擘：深度学习三巨头 Yoshua Bengio、Geoffrey Hinton、Yann LeCun ，“ImageNet之母 李飞飞 ，英伟达创始人 黄仁勋 ，英伟达首席科学家 Bill Dally ，他们罕见地齐聚一堂。访谈由《经济学人》资深编辑Madhumita Murgia主持，六位嘉宾分享了各自职业生涯中塑造现代人工智能的“顿悟时刻”。对话深入探讨了当前AI热潮是否为泡沫、AI未来的发展方向、人类级智...

今天我们要聊的是DeepSeek的MoE论文。我们知道现在主流LLM所采用的基本都已经是Transformer架构。标准的Transformer由多个Transformer块堆叠而成，每个块包含自注意力（Self-Attention）模块和前馈网络（FFN）模块。 Transformer虽然能带来极强的模型上下文理解能力和泛化、涌现能力，但是由于其平方计算的特性，计算量性能开销特别巨大。MoE 技术最早由 Jacobs et al. (1991) 提出，并由 Shazeer et al. (2017) 引入大规模语言模...

今天我们要聊的这篇具有里程碑意义的论文——《AGI的火花：GPT-4 的早期实验》（Sparks of Artificial General Intelligence:Early experiments with GPT-4）——由微软研究院的团队撰写，是对 OpenAI 在 GPT-4 开发阶段早期版本进行的深入探索，时间为2023年。 论文的核心论点是，GPT-4 不仅仅是又一个大型语言模型（LLM）的迭代，它代表了一种“更通用的智能”，其表现“惊人地接近人类水平”。鉴于其能力的广度和深度，作者们认为“可以...

我们今天聊的这篇论文，是OpenAI发布GPT3时公开的论文，也是OpenAI乃至整个AI行业的分水岭。对于OpenAI而言，它强有力地证明了其核心的“Scaling Law”赌注是正确的：即随着模型规模的急剧扩大，性能不仅可预测地提升 ，更会“涌现”出强大的、无需微调的“上下文学习”（In-context Learning）能力 。这一发现促使OpenAI在战略上全力押注大语言模型（LLM），收缩了其他AGI探索路径，并为其后续的产品化和商业化（如ChatGPT）和巨额融资...

今天我们要聊的这篇论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》来自Google Brain，它的重大意义在于，首次揭示并系统验证了如何通过简单的“提示（prompting）” 来解锁大型语言模型 (LLM) 以前不具备的复杂推理能力，只需要通过在提示中展示“一步一步思考”的范例（也就是思维链-CoT），就能引导模型自主解决复杂的逻辑和算术问题。 第一作者Jason Wei 曾在 OpenAI (2023-2025) 和 Google Brain...

今天我们来聊一聊ReAct这个框架的诞生。它的“历史地位”体现在， 从根本上提出了一个将 LLM（大型语言模型）从“静态知识库”转变为“动态行动者 (Agent)”的核心框架，使大型语言模型 (LLM) 能够以一种交错的方式，将推理 (Reasoning) 和行动 (Acting) 协同起来，以解决复杂的任务。当今几乎所有主流的 LLM Agent 开发框架（如 LangChain, LlamaIndex）都将 ReAct 作为最核心、最基础的 Agent 实现模式之一。无论是 OpenAI 开发的 GPTs...

今天我们要聊的是对AGI的定义。 先介绍一下作者Yoshua Bengio，他拥有加拿大和法国双重国籍，是加拿大蒙特利尔大学计算机科学和运筹学系教授，也是蒙特利尔学习算法研究所（Mila）的科学总监。作为深度学习领域的先驱之一，他在序列的概率建模、高维词嵌入与注意力机制等方面贡献突出，与 Ian Goodfellow 共同提出的生成对抗网络（GANs）影响深远。2018 年，他与杰弗里・辛顿和杨立昆一起获得 ACM 图灵奖。此外，他还著有《Deep Le...

作者François Chollet (弗朗索瓦·肖莱) 是一位在人工智能领域极具影响力的法国研究员。他的核心成就与贡献是开发了Keras，一个开源的深度学习框架，Keras以其用户友好、模块化和可扩展性，极大地降低了深度学习的入门门槛，迅速成为全球最受欢迎的深度学习库之一。在2015年发布Keras后不久，Chollet加入了Google长期担任高级软件工程师，继续领导Keras的开发，并对TensorFlow生态系统做出了重大贡献。除了工程上的巨大成功，Cholle...

作者翁荔（Lilian Weng）毕业于北大，她此前在 OpenAI 工作，主要聚焦于应用研究和AI安全领域，目前是Thinking Machine的联合创始人。她另一个广为人知的身份是其技术博客 “Lil'Log” 的作者。这个博客以其 深度、系统性和前瞻性 而闻名，被许多AI从业者和研究者视为必读的优质信息源。 当‘AI智能体’（Agent）这个概念刚火起来的时候，是她在一篇文章里清晰地把构建一个Agent的核心思路拆解成了‘ 规划、记忆、工具使用 ’这三个关键...

本文是前特斯拉AI总监、OpenAI创始成员Andrej Karpathy在听完AI先驱Rich Sutton的播客后撰写的深度反思。他结合一线经验，将当前LLM的发展路径比作从人类数据中召唤“幽灵”，以此对照Sutton倡导的、像“动物”一样从互动中学习的理想范式。Karpathy创造性地提出“预训练是我们蹩脚的进化”，在肯定当前方法的实用性之余，更呼吁业界从自然智能中寻找未来突破的灵感。 原文链接：karpathy.bearblog.dev 以下为全文翻译： 终于有机会听完...

姚顺雨 (Shunyu Yao) 是人工智能领域一位极具开创性的青年研究者，尤其以其在 AI 智能体 (AI Agents) 领域的奠基性工作而闻名。他最为人熟知的贡献是作为主要作者，引领了革命性的 ReAct 框架的开发。该框架巧妙地将“推理”(Reasoning)与“行动”(Acting)相结合，让语言模型能像人一样思考规划、并与外部工具互动来解决复杂问题，这已成为现代智能体技术的核心思路之一。姚顺雨毕业于清华大学姚班，并在普林斯顿大学获得博士学位。他...