AI智识录

本期内容不是文章或论文，而是最近的一次访谈。这次访谈汇聚了六位AI领域的巨擘：深度学习三巨头 Yoshua Bengio、Geoffrey Hinton、Yann LeCun ，“ImageNet之母 李飞飞 ，英伟达创始人 黄仁勋 ，英伟达首席科学家 Bill Dally ，他们罕见地齐聚一堂。访谈由《经济学人》资深编辑Madhumita Murgia主持，六位嘉宾分享了各自职业生涯中塑造现代人工智能的“顿悟时刻”。对话深入探讨了当前AI热潮是否为泡沫、AI未来的发展方向、人类级智...

今天我们要聊的是DeepSeek的MoE论文。我们知道现在主流LLM所采用的基本都已经是Transformer架构。标准的Transformer由多个Transformer块堆叠而成，每个块包含自注意力（Self-Attention）模块和前馈网络（FFN）模块。 Transformer虽然能带来极强的模型上下文理解能力和泛化、涌现能力，但是由于其平方计算的特性，计算量性能开销特别巨大。MoE 技术最早由 Jacobs et al. (1991) 提出，并由 Shazeer et al. (2017) 引入大规模语言模...

今天我们要聊的这篇具有里程碑意义的论文——《AGI的火花：GPT-4 的早期实验》（Sparks of Artificial General Intelligence:Early experiments with GPT-4）——由微软研究院的团队撰写，是对 OpenAI 在 GPT-4 开发阶段早期版本进行的深入探索，时间为2023年。 论文的核心论点是，GPT-4 不仅仅是又一个大型语言模型（LLM）的迭代，它代表了一种“更通用的智能”，其表现“惊人地接近人类水平”。鉴于其能力的广度和深度，作者们认为“可以...

我们今天聊的这篇论文，是OpenAI发布GPT3时公开的论文，也是OpenAI乃至整个AI行业的分水岭。对于OpenAI而言，它强有力地证明了其核心的“Scaling Law”赌注是正确的：即随着模型规模的急剧扩大，性能不仅可预测地提升 ，更会“涌现”出强大的、无需微调的“上下文学习”（In-context Learning）能力 。这一发现促使OpenAI在战略上全力押注大语言模型（LLM），收缩了其他AGI探索路径，并为其后续的产品化和商业化（如ChatGPT）和巨额融资...

今天我们要聊的这篇论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》来自Google Brain，它的重大意义在于，首次揭示并系统验证了如何通过简单的“提示（prompting）” 来解锁大型语言模型 (LLM) 以前不具备的复杂推理能力，只需要通过在提示中展示“一步一步思考”的范例（也就是思维链-CoT），就能引导模型自主解决复杂的逻辑和算术问题。 第一作者Jason Wei 曾在 OpenAI (2023-2025) 和 Google Brain...

今天我们来聊一聊ReAct这个框架的诞生。它的“历史地位”体现在， 从根本上提出了一个将 LLM（大型语言模型）从“静态知识库”转变为“动态行动者 (Agent)”的核心框架，使大型语言模型 (LLM) 能够以一种交错的方式，将推理 (Reasoning) 和行动 (Acting) 协同起来，以解决复杂的任务。当今几乎所有主流的 LLM Agent 开发框架（如 LangChain, LlamaIndex）都将 ReAct 作为最核心、最基础的 Agent 实现模式之一。无论是 OpenAI 开发的 GPTs...

今天我们要聊的是对AGI的定义。 先介绍一下作者Yoshua Bengio，他拥有加拿大和法国双重国籍，是加拿大蒙特利尔大学计算机科学和运筹学系教授，也是蒙特利尔学习算法研究所（Mila）的科学总监。作为深度学习领域的先驱之一，他在序列的概率建模、高维词嵌入与注意力机制等方面贡献突出，与 Ian Goodfellow 共同提出的生成对抗网络（GANs）影响深远。2018 年，他与杰弗里・辛顿和杨立昆一起获得 ACM 图灵奖。此外，他还著有《Deep Le...

作者François Chollet (弗朗索瓦·肖莱) 是一位在人工智能领域极具影响力的法国研究员。他的核心成就与贡献是开发了Keras，一个开源的深度学习框架，Keras以其用户友好、模块化和可扩展性，极大地降低了深度学习的入门门槛，迅速成为全球最受欢迎的深度学习库之一。在2015年发布Keras后不久，Chollet加入了Google长期担任高级软件工程师，继续领导Keras的开发，并对TensorFlow生态系统做出了重大贡献。除了工程上的巨大成功，Cholle...

作者翁荔（Lilian Weng）毕业于北大，她此前在 OpenAI 工作，主要聚焦于应用研究和AI安全领域，目前是Thinking Machine的联合创始人。她另一个广为人知的身份是其技术博客 “Lil'Log” 的作者。这个博客以其 深度、系统性和前瞻性 而闻名，被许多AI从业者和研究者视为必读的优质信息源。 当‘AI智能体’（Agent）这个概念刚火起来的时候，是她在一篇文章里清晰地把构建一个Agent的核心思路拆解成了‘ 规划、记忆、工具使用 ’这三个关键...

本文是前特斯拉AI总监、OpenAI创始成员Andrej Karpathy在听完AI先驱Rich Sutton的播客后撰写的深度反思。他结合一线经验，将当前LLM的发展路径比作从人类数据中召唤“幽灵”，以此对照Sutton倡导的、像“动物”一样从互动中学习的理想范式。Karpathy创造性地提出“预训练是我们蹩脚的进化”，在肯定当前方法的实用性之余，更呼吁业界从自然智能中寻找未来突破的灵感。 原文链接：karpathy.bearblog.dev 以下为全文翻译： 终于有机会听完...

姚顺雨 (Shunyu Yao) 是人工智能领域一位极具开创性的青年研究者，尤其以其在 AI 智能体 (AI Agents) 领域的奠基性工作而闻名。他最为人熟知的贡献是作为主要作者，引领了革命性的 ReAct 框架的开发。该框架巧妙地将“推理”(Reasoning)与“行动”(Acting)相结合，让语言模型能像人一样思考规划、并与外部工具互动来解决复杂问题，这已成为现代智能体技术的核心思路之一。姚顺雨毕业于清华大学姚班，并在普林斯顿大学获得博士学位。他...

Andrej Karpathy 是一位杰出的人工智能科学家和工程师，以其在深度学习领域的深刻见解闻名。他曾担任特斯拉的AI总监，领导开发自动驾驶系统 Autopilot 的核心视觉技术，也是 OpenAI 的创始成员之一，深度参与了前沿AI的研究。除了在工业界的巨大成就，他也是一位极具影响力的教育家。他在斯坦福大学开设的课程 CS231n被公认为该领域的经典入门课。 他最著名的思想贡献是提出了“软件2.0”这一概念，清晰地阐述了神经网络正在从根本上...

Sara Hooker 是一位人工智能研究者，在撰写《硬件彩票》（The Hardware Lottery）一文时，她在谷歌研究院的 Brain 团队工作 。她在这篇影响深远的文章中提出了一个“扎心”的观点：在 AI 研究中，一个算法或模型能够成功并得到广泛应用，并不仅仅因为它理论上更优秀，很大程度上是因为它恰好能高效地运行在当前主流的硬件（尤其是 GPU）上。很多“更好”的、但与硬件不兼容的想法，就像没有中奖的彩票一样，被历史遗忘了。 原文地址：a...

Yann LeCun (杨立昆)，是2018年图灵奖得主，“深度学习三巨头”之一。他开创性地提出了卷积神经网络 (CNN)，为现代计算机视觉技术奠定了基础，是人工智能领域举足轻重的奠基人。他目前担任 Meta 副总裁兼首席人工智能科学家及纽约大学教授，是一位非常活跃的公众人物，经常在社交媒体 (X/Twitter) 上发表观点，与同行辩论，并积极地向公众普及他对 AI 未来发展的独特蓝图。 Yann LeCun 在 NIPS 2016 大会上提出了他如今已是家喻户晓...

作者：理查德·萨顿（Richard S. Sutton） 萨顿被誉为“现代强化学习之父”，同时也是2024年图灵奖的得主。他曾在马萨诸塞、阿尔伯塔等大学任教，2017年加入DeepMind担任杰出研究科学家。萨顿和巴托合作发展了强化学习的概念，并将其作为人工智能的基础。他们使用马尔可夫决策过程作为数学基础，解释了智能体如何在随机环境中做出决策。萨顿提出了时序差分学习和策略梯度方法等重要理论。此外，他还与巴托合著了《强化学习：导论》一...