Daily LLM Papers

前往小宇宙评论区与主播互动

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models 前往小宇宙评论区与主播互动

mHC: Manifold-Constrained Hyper-Connections 前往小宇宙评论区与主播互动

通义 DeepResearch：开源 AI 智能体的新纪元 阿里巴巴通义实验室 在开发自主信息搜索和推理代理模型方面的进展，集中于三个相关的项目： Tongyi DeepResearch 、 WebDancer 和 WebSailor 。这些研究的核心目标是构建能够执行复杂、多步骤任务的大型语言模型（LLMs），方法包括生成 高质量、高不确定性的训练数据 ，例如通过构建知识图谱和模糊信息来合成问题（SailorFog-QA, CRAWLQA），以及使用如 ReAct 框架 和 强化学习（RL）等...

Scaling Synthetic Data Creation with 1,000,000,000 Personas Persona Hub 是一个包含 10亿个多样化角色（persona） 的集合，这些角色是从海量网络数据中自动整理出来的。这些角色约占世界总人口的13%。Persona Hub中的每个角色都被视为世界知识的分布式载体，与独特的知识、经验、兴趣、个性和职业相关联。从压缩的角度来看，Persona Hub（约10^10个token）可以被看作是将用于训练大型语言模型（LLM）的公共网络文本（约10^14个...

REFRAG (REpresentation For RAG) 和 RASD (Retrieval-Augmented Speculative Decoding) 都是旨在提高大型语言模型 (LLM) 推理效率的方法，但它们关注的方面和实现机制有所不同： 1. 核心目标和解决的问题：REFRAG：主要目标是解决RAG应用中长上下文输入带来的显著系统延迟和对键值 (KV) 缓存的大量内存需求，从而提高吞吐量并解决知识丰富与系统效率之间的基本权衡问题。它特别关注首个token生成时间 (TTFT) 的优化。REFRAG提出，...

LongCat-Flash-Chat LongCat-Flash 模型在架构设计、训练策略和推理部署方面引入了多项创新技术，使其在计算效率和智能体能力方面均表现出色。 模型架构创新和技术要点 LongCat-Flash 采用了一种新颖的 Mixture-of-Experts (MoE) 架构，其核心创新包括： * 零计算专家 (Zero-computation Experts)：LongCat-Flash 引入了零计算专家机制，能够根据上下文需求动态分配计算预算。这意味着模型可以为重要的 token 激活更多参数，而对不...

本期论文：INTERN-S1: A SCIENTIFIC MULTIMODAL FOUNDATION MODEL Intern-S1 在多个方面展现了显著的创新，这些创新主要体现在其模型架构、数据策略以及训练系统和算法优化上，旨在弥合开放源代码与闭源模型在科学理解和推理能力上的差距，并向通用人工智能（AGI）迈进。 以下是 Intern-S1 的主要创新点： * 专业通用型多模态基础模型定位：Intern-S1 被设计为一个能够分析多种科学模态数据（如分子结构、时间序列信号等）的专业通...

原文： A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language Models 该综述文章深入探讨了 并行文本生成 领域，旨在解决大型语言模型（LLMs）中固有的 自回归（AR）生成速度瓶颈 。文章系统地将现有技术分为 基于自回归（AR-based）和非自回归（Non-AR-based）范式。基于自回归的方法通过草稿-验证 、 分解-填充 和 多令牌预测 等策略加速生成，同时努力保持输出质量。 非自回归方法 则包括 一次...

作者： Chengshuai Zhao、Zhen Tan、Pingchuan Ma、Dawei Li、Bohan Jiang、Yancheng Wang、Yingzhen Yang 和 Huan Liu (亚利桑那州立大学) 来源： arxiv.org 摘要 这篇研究论文《大语言模型链式思维推理是假象吗？一个数据分布视角》对大语言模型（LLM）中链式思维（CoT）推理的真实性提出了质疑。尽管CoT提示在提高LLM在各种任务中的性能方面表现出色，并常被认为是LLM进行类人推理过程的证据，但本文通过“数据分布”的视角，论证...

Seed Diffusion Preview 技术报告 Seed Diffusion模型将扩散（Diffusion）方法应用于代码生成，并实现了显著的高速推理，其核心在于将连续域的扩散概念巧妙地适配到离散的文本数据上，并通过一系列优化策略来加速其迭代生成过程。 以下是其主要实现方式： * 离散状态扩散（Discrete-state Diffusion）：挑战：传统的Diffusion模型天然适用于图像像素或音频频谱图等连续的高维数据，因为在这些数据上定义和操作高斯噪声是一个自然的...

原文：Group Sequence Policy Optimization 本来源介绍了 组序列策略优化 (GSPO) ，是一种用于训练大型语言模型的新型强化学习算法。该算法通过基于 序列似然 定义重要性比率并执行序列级剪辑、奖励和优化来解决现有算法（如 GRPO ）在训练巨型模型时遇到的不稳定性问题。文章指出，GRPO 的不稳定性源于其 令牌级重要性采样权重 的错误应用，导致高方差训练噪声和模型崩溃。GSPO 则通过其 序列级方法 显著提高了训练的 稳定性、效...

Manus 博客原文：AI代理的上下文工程：构建Manus的经验教训 Manus 项目通过语境工程（Context Engineering）解决了AI智能体开发和运行中的多项关键挑战，并积累了宝贵的经验，这些经验对未来的AI智能体开发具有重要启示。 以下是Manus项目通过语境工程解决的主要挑战及其具体做法： * 应对模型迭代周期慢和产品与底层模型耦合过深的问题：挑战：在早期的自然语言处理（NLP）中，模型需要经过数周的微调和评估才能适应新任务，这种...

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation 这篇研究论文介绍了 Mixture-of-Recursions (MoR) ，这是一个针对大型语言模型（LLMs）效率的新框架。MoR通过 参数共享 （重复使用一套共享层）和 自适应计算 （轻量级路由器动态分配不同递归深度给单个令牌）来降低计算和内存成本。该研究探讨了两种主要的路由策略—— 专家选择 和 令牌选择 ——以及两种 键值（KV）缓存策略 ，以优...

vLLM 的速度优势并非简单的增量式改进或对个别算子的优化，而是源于对大语言模型推理这一根本问题的系统性重构。它将经典的操作系统设计哲学——如虚拟内存、分页管理和动态进程调度——创造性地应用于一个全新的领域，从而建立了一套全新的、为高吞吐量服务而生的架构蓝图。 通过 PagedAttention，vLLM 将 GPU 显存从一块僵化的、连续的资源，转变为一个流动的、可灵活调度的块池，从根源上解决了制约并发能力的内存碎片化问题。在此...

本期论文：ZeroSearch: Incentivize the Search Capability of LLMs without Searching ZEROSEARCH 是一个新颖的强化学习（RL）框架，旨在提升大型语言模型（LLMs）的搜索能力，而无需与真实的搜索引擎交互。该框架巧妙地结合了强化学习、监督微调（SFT）和课程学习机制来优化 LLMs 的检索和推理能力。 以下是 ZEROSEARCH 如何利用这些机制： 1. 强化学习 (RL)：ZEROSEARCH 采用强化学习来训练策略模型（policy model），以学习有...