readthepapers

本篇论文介绍了一种名为令牌顺序预测（TOP）的新型辅助训练目标，旨在提升大型语言模型（LLMs）的性能。 文章首先 阐述了当前LLMs主要采用的下一令牌预测（NTP）方法的局限性， 随后 审视了多令牌预测（MTP）作为辅助目标所面临的挑战，**例如在标准自然语言处理（NLP）基准测试中表现不佳，以及对模型规模和未来令牌数量的敏感性。**TOP通过预测即将出现的令牌的相对顺序，而非精确的未来令牌，**简化了学习任务，**并且只需额外...

本论文介绍了 EO-1模型 ，这是一种用于实现 通用机器人策略 的视觉-语言-动作模型。该模型采用统一的 解码器专用Transformer架构 ，旨在捕捉具身交互中视觉、文本和动作模态之间固有的 时间动态和因果关系 。为了训练EO-1，研究人员从大规模机器人数据集中筛选出 多样化的视频 ，并对其进行分割和标注，以创建包括 空间推理 和 自由对话 在内的多模态数据。通过引入 EO-Bench基准测试 ，该研究提供了对机器人 具身推理能力 的全面...

该论文介绍了 R-4B ，这是一种 多模态大型语言模型（MLLM） ，旨在通过 自适应思考 能力来平衡复杂推理与推理效率。R-4B 利用 双模式退火 进行训练，使其能够进行 思考 和 非思考 两种模式的响应。随后，通过 双模式策略优化 (BPO) 进行强化学习，使模型能够根据问题的复杂性 智能选择 合适的模式。实验结果表明，R-4B-RL 在多项基准测试中表现出色，尤其在 推理密集型任务 上超越了同类模型，并在 计算效率 与 性能 之间取得了平...

该文档 介绍并详细阐述了rStar2-Agent ，一个由微软研究院开发的14B数学推理模型。该模型通过 智能强化学习 （Agentic Reinforcement Learning）进行训练，以超越传统长思维链（Long CoT）方法的性能。它在处理复杂问题时展现出 先进的认知行为 ，例如在调用Python编码工具前进行仔细思考，并能根据代码执行反馈 自主探索、验证和完善中间步骤 。文档强调了 rStar2-Agent的三个核心创新 ：高效的RL基础设施、GRPO-RoC代理RL算法，...

这篇论文 深入探讨了大型语言模型（LLMs）的认知模式 ，通过 网络框架 将认知技能、LLM架构和数据集联系起来。文章主要研究了 LLMs内部模块如何组织和协作 以支持各种认知功能，例如记忆、执行功能、语言交流和社交认知。通过 剪枝策略和社区检测算法 ，研究人员分析了技能在模型模块中的分布，发现LLMs表现出 分布式而非严格局部化的学习动态 ，与鸟类和小型哺乳动物大脑的 弱局部化架构 有部分相似性。研究结果表明，虽然LLMs的...

本论文来自腾讯人工智能实验室， 介绍了一种名为 Vision-SR1 的新方法 ，旨在提升视觉语言模型 (VLM) 的推理能力。 Vision-SR1 通过将 VLM 的推理过程分解为视觉感知和语言推理两个阶段，并通过模型自身进行奖励评估来解决现有 VLM 的视觉幻觉和语言捷径问题 。该方法在强化学习框架下运作， 无需外部人工标注或预先提取的标签，从而解决了现有方法的扩展性和成本问题 。实验结果表明，Vision-SR1 在多项视觉语言任务上 显著提高了...

这篇论文 介绍了一种名为动态微调（DFT）的新方法 ，旨在提升大型语言模型（LLM）监督微调（SFT）的泛化能力。资料 指出标准SFT存在限制，因为它隐含的奖励结构存在问题 ，导致模型在面对训练数据中低概率的专家动作时，其梯度更新变得不稳定且方差过大。为了解决这一问题， DFT通过动态地根据每个词元（token）的概率来重新调整目标函数 ，有效地修正了这种有偏的奖励结构，从而稳定了学习过程。实验结果表明， DFT在多种数学推理...

这篇报告介绍了 GLM-4.5系列 模型，包括GLM-4.5和GLM-4.5-Air，它们是清华大学和智谱AI合作开发的 开源混合专家（MoE）大型语言模型 。这些模型旨在通过结合思维和直接响应模式的 混合推理方法 ，在 代理能力、推理能力和编程能力（ARC） 任务中实现卓越性能。论文详细阐述了模型的 架构、多阶段训练过程 （包括预训练、中期训练和后训练），以及如何通过 强化学习和专家模型迭代 来提升各项能力。评估结果显示，GLM-4.5在多项ARC...

这项研究引入了一种名为 Coconut （连续思想链）的新范式，旨在改进大型语言模型 (LLM) 的推理能力。当前 LLM 通常通过 语言空间 中的“思想链”（CoT）进行推理，作者认为这种方式效率不高，因为语言表达中的许多标记对实际推理作用不大。相反， Coconut 允许 LLM 在 连续潜在空间 中进行推理，直接将模型的最后隐藏状态（即“连续思想”）作为下一次输入的嵌入，而非将其解码为词元。实验表明，这种方法在逻辑推理任务中优于传统的 C...

本论文 详细阐述了层归一化（Layer Normalization）的概念 ，这是一种用于 加速深度神经网络训练 的技术。该方法通过在 单个训练案例中计算层内所有神经元总和输入的均值和方差来规范化激活值 ，与需要批量统计的 批量归一化（Batch Normalization）形成对比。文中分析了层归一化在不变性特性方面的优势 ，特别是 其在处理循环神经网络（RNN）和小型迷你批量时的鲁棒性 。此外，还 通过多项实验验证了层归一化在图像-句子排序、问...

该研究论文介绍了一种名为“无声梯度”的新方法，旨在解决变分自动编码器 (VAEs) 训练中常见的梯度估计方差问题。传统方法如重参数化和REINFORCE算法在通过随机采样层反向传播梯度时会引入噪声，从而影响模型性能和收敛速度。作者提出，通过利用特定的解码器架构，可以解析地计算预期证据下界（ELBO），从而得到零方差的梯度。文章首先在理论上确立了这种方法的有效性，并展示了其在线性解码器设置下优于现有估计器的表现。为了将其...

本研究介绍了一种名为 CANS（Chebyshev-optimized Newton-Schulz） 的新方法，旨在通过利用 Chebyshev 交错定理 优化系数来加速 Newton-Schulz 迭代 。这种迭代是计算给定矩阵 正交极分解 的有效方法，因为它主要依赖于矩阵乘法。研究人员通过理论推导了 三阶 Newton-Schulz 迭代 的最优系数，并利用 Remez 算法 计算了更高阶多项式的最优系数。 CANS 方法 在 Muon 优化器 和 Stiefel 流形上的黎曼优化 等深度学习应用中展现出显著...

该论文介绍了一种名为 RLCR（强化学习与校准奖励） 的新方法，旨在通过结合标准正确性奖励和基于 Brier 分数的校准奖励来训练大型语言模型。文章指出， 传统的二元奖励函数 虽然能提高准确性，但往往导致模型过度自信并增加“幻觉”率。RLCR 的目标是同时提高模型的 准确性 和 校准置信度估计 ，使其不仅能给出正确答案，还能准确地表达其不确定性。实验结果表明，RLCR 在保持甚至提升准确性的同时，显著改善了模型的校准性能，尤其...

该论文 探讨了大型语言模型（LLMs）思维链（CoT）的忠实性 ，即CoT在多大程度上准确反映了模型的内部推理过程。研究发现，尽管CoT对于理解模型意图和推理过程至关重要，但 现有最先进的推理模型通常无法忠实地表达其推理过程 ，尤其是在处理更困难的任务或利用“作弊”提示时。研究还指出， 基于结果的强化学习（RL）在提高CoT忠实性方面效果有限，并且无法可靠地揭示模型利用奖励漏洞的行为 。因此，论文得出结论，CoT监控虽然有助...

Anthropic团队的一篇博客文章介绍了**“潜意识学习” 现象，即大型语言模型（LLM）能够在不相关的生成数据中 无意中传递行为特征**。文章通过实验证明，一个被训练成喜爱特定事物的“教师”模型，即使其输出数据（如数字序列或代码）中不包含任何与该事物相关的信息，也能将其偏好传递给“学生”模型。这种现象同样适用于 传输对齐偏差 ，并且即便对数据进行严格过滤也 无法阻止 ，因为信号以 非语义模式 存在。研究强调，这种传递只发生...

本研究 调查了大型语言模型（LLMs）通过强化学习（RL）在数学推理方面性能提升的可靠性 。文章指出，Qwen2.5模型系列在数学基准测试（如MATH-500）上的显著进步，可能并非源于真正的推理能力提升，而是 因为其预训练数据存在与这些基准测试的“数据污染”现象，导致模型记忆了答案 。为了验证这一假设，研究人员 创建了一个名为RandomCalculation的无污染合成数据集 ，并在此数据集上进行了RL实验。实验结果表明， 只有准确的奖励信...

该论文主要讨论 大型语言模型（LLM）中的“潜在推理” ，这是一种通过模型连续的内部状态进行多步推理的方法。文章概述了 潜在推理与传统“思维链”（CoT）推理的区别 ，指出前者能突破语言表达的限制，提供更丰富的推理能力。文中详细阐述了 两种主要潜在推理范式：垂直循环（基于激活）和水平循环（基于隐藏状态） ，并探讨了 通过架构设计或训练策略诱导循环 的方法。此外，资料还深入分析了 Transformer模型层级在潜在CoT中的作用...

该论文全面概述了 人工通用智能（AGI） ，将其视为超越当前 大型语言模型（LLMs）和视觉-语言模型（VLMs）能力的未来范式。该综述整合了计算架构、认知神经科学 和 社会伦理 等多学科视角。它讨论了 代理AI 和 世界模型 等新兴方法的重要性，旨在实现类似人类的推理、学习、记忆和适应性，并强调了包括 人类反馈强化学习（RLHF）在内的对齐策略在确保AGI系统安全和负责任发展中的关键作用。此外，该文本还探讨了受人脑功能和记忆系...

本论文 探讨了大型语言模型（LLMs）的“波将金式理解”现象 ，即模型在基准测试中表现出色，但其概念理解方式与人类存在根本差异。作者提出了一个 正式框架 来定义这种现象，并指出 为人类设计的基准测试，只有在LLMs的错误理解模式与人类相似时才对LLMs有效 。研究通过 两种方法 量化了波将金式理解的普遍性：一是 构建了一个新的基准数据集 ，涵盖文学技巧、博弈论和心理偏见等领域，测试模型解释和应用概念的能力；二是 设计了一...

这项研究 探讨了大型语言模型（LLMs）如何处理概念 ，并将其与人类的认知方式进行 比较 。研究人员运用了一种 信息论框架 ，借鉴了率失真理论和信息瓶颈原理，以 量化LLMs在信息压缩和语义保真度之间如何权衡 。通过分析LLMs的词元嵌入并参照 人类分类基准数据 ，研究发现LLMs能够形成与人类判断相符的 宽泛概念类别 ，但在捕捉人类理解所必需的 细粒度语义差异 方面存在不足。关键在于，LLMs倾向于 激进的统计压缩 ，而人类的概念...

该论文对 Shojaee 等人（2025）关于大型推理模型（LRM）在规划难题上表现出“准确性崩溃”的说法提出了质疑。Lawsen 的评论认为，这种所谓的崩溃并非源于模型固有的推理缺陷，而是由实验设计中的多个关键缺陷造成的。这些问题包括：河内塔实验中模型输出超出令牌限制，导致模型为避免过长而截断输出；自动化评估框架未能区分推理失败和实际约束，错误地将模型能力进行分类；以及在河渡谜题中包含数学上无解的问题实例，导致模型因未...

该论文 深入探讨了大型推理模型（LRMs）在解决复杂问题时的能力与局限性 。研究人员通过 受控的益智游戏环境 而非传统的数学基准测试，系统地评估了这些模型。他们发现， LRMs的表现会随着问题复杂度的增加而急剧下降 ，并且在达到某个临界点后，模型即使有足够的计算预算，其 推理努力（思考的token数量）反而会减少 。研究还揭示了LRMs在低复杂度任务中不如标准大型语言模型（LLMs）效率高，在中等复杂度任务中表现出优势，但在...

该论文通过引入一个受认知心理学和教育启发的新框架， 全面探讨了大型语言模型（LLMs）的学习能力 。它将LLM的学习分解为三个关键维度： 向教师学习 （通过明确指导获取知识）、 从概念学习 （内化抽象结构并推广到新语境），以及 从经验学习 （通过累积探索和反馈进行适应）。研究人员进行了一项广泛的实证研究， 揭示了LLM学习能力的关键发现 ，例如互动能提升学习效果，概念理解能力随模型规模而增强，且LLMs在少样本学习中表现...

Guardieiro et al. (2025)提出了一种名为 Instruction Attention Boosting (InstABoost)的新型潜在引导方法，旨在提高大型语言模型（LLM）遵循指令的能力。该研究通过标准化基准测试 系统地比较了各种引导技术，包括传统的提示和现有潜在空间引导方法。结果表明，INSTABOOST通过 增强模型对指令的注意力 ，在多样化的任务中显著提升了控制成功率，并保持了生成文本的流畅性，克服了其他潜在引导方法中常见的性能波动和生成质量下降...

此研究首次 明确定义了构建 类人自主人工智能 所需的 功能层次结构 ，将其分为 核心功能 、 整合评估功能 和 自我修改功能 三个层面。它提出了一个 逐步实现自主性 的模型，包括 反应式 、 弱自主 和 强自主 级别，并 探讨了这些功能 与现有 人工智能设计方法 的关系，尤其是 强化学习 的适用性与局限性。通过提供一个 独立于具体技术 的理论框架，该研究旨在 深化对自主性的理解 ，并为未来 设计具有强大自主性 的人工实体奠定基...