大模型论文天天读

该技术报告介绍了 OneRec-V2，这是一个用于推荐系统的工业级生成式框架，旨在解决其前身 OneRec-V1 的可扩展性和性能瓶颈。OneRec-V2 的主要创新在于采用了一种 Lazy Decoder-Only 架构，该架构通过消除传统编码器并简化交叉注意力机制，将计算需求降低了 90% 以上，从而实现了模型参数的有效扩展（最高可达 80 亿）。此外，该系统引入了基于 真实用户互动 的偏好对齐（Preference Alignment）机制，包括 Duration-Aware Reward Sh...

这篇研究介绍了 残差学习框架 (residual learning framework) ，旨在解决训练极深神经网络时出现的 优化难度和准确性退化问题 (degradation problem) 。研究人员通过将网络层重构为学习相对于输入数据的 残差函数 (residual functions) ，而不是直接学习未引用的映射，极大地简化了训练过程。这种方法通过 恒等快捷连接 (identity shortcut connections)实现，能够在不增加参数或计算复杂度的情况下，构建并有效训练深度超过100甚...

he research introduces OneRec, a novel generative recommender system designed to unify the traditional multi-stage "retrieve-and-rank" process into a single, end-to-end generative model. This unified approach, implemented with an encoder-decoder architecture and a sparse Mixture-of-Experts (MoE) structure for scalable capacity, overcomes the limitations of cascaded ranking systems. Crucially, OneR...

AgentScope 1.0: A Developer-Centric Framework for BuildingAgentic Applications https://arxiv.org/pdf/2508.16279  前往小宇宙评论区与主播互动

oai_gpt-oss_model_card.pdf   前往小宇宙评论区与主播互动

GPT-5 是一个统一的系统，包含一个智能且快速的模型，可回答大多数问题；一个用于处理更难题目的深度推理模型；以及一个实时路由器，它能根据对话类型、复杂程度、工具需求和明确意图（例如，如果你在提示词中说“仔细思考这个问题”）快速决定使用哪个模型。该路由器会根据实际信号持续进行训练，这些信号包括用户何时切换模型、对回复的偏好率以及衡量的正确率，随着时间推移不断改进。一旦达到使用限制，每个模型的迷你版本将处理...

基础代理 的设计和运作，这是一种受人类认知启发的先进人工智能系统。它详细阐述了代理的核心组成部分，包括 世界模型 （用于预测环境）、 记忆系统 （用于存储和检索信息）、 奖励机制 （用于引导学习和决策）以及 感知和行动模块 （用于与环境互动）。此外，文本还讨论了 多代理系统 中的协作、优化和 自我演化 ，并重点关注了 人工智能安全 方面的挑战和解决方案，例如防止越狱和数据泄露。   arxiv.org   前往小宇宙...

Qwen3 ， Qwen 模型家族的最新版本，该系列大型语言模型旨在提升性能、效率和多语言能力。 Qwen3 系列包含参数规模从0.6到2350亿的 密集型 和 MoE（混合专家）架构模型 。 Qwen3 的关键创新在于将 思考模式 （用于复杂、多步骤推理）和 非思考模式 （用于快速、上下文驱动的响应）整合到一个统一框架中，并引入了 思考预算机制 ，允许用户在推理过程中自适应分配计算资源。通过利用旗舰模型的知识， Qwen3 显著降低了构建小型模型...

Kimi K2 ，这是一个拥有 1.04 万亿参数 的混合专家（MoE）大型语言模型，其中 320 亿参数 处于激活状态。报告详细阐述了其预训练阶段采用的 MuonClip 优化器 ，该优化器结合了 Muon 的效率与 QK-clip 的稳定性，使得模型在 15.5 万亿个 token 上实现了无损失尖峰的训练。此外，报告还强调了 Kimi K2 通过大规模 Agentic 数据合成 和 强化学习 进行后训练，显著提升了其在 软件工程和代理任务 方面的能力。性能评估显示，Kimi K2 在...

本研究介绍了一种名为“反思、重试、奖励”的创新方法，旨在通过 强化学习 提升大型语言模型（LLM）的性能。当模型首次未能完成任务时，它会生成 自我反思 来分析错误，然后利用这些反思再次尝试。如果第二次尝试成功，模型会奖励那些促成成功的 自我反思 标记，从而鼓励未来更有效的反思。这种方法在 函数调用和数学方程编写 等复杂任务中展现出显著的性能提升，甚至使小型模型 超越了规模大十倍的未经训练的模型 ，同时最大限度地...

这篇学术文章对 图检索增强生成（GraphRAG）进行了全面的概述，这是一种通过整合图结构数据 来增强下游任务执行的强大技术。文章详细阐述了一个 整体的GraphRAG框架 ，该框架由 查询处理器、检索器、组织器、生成器和图数据源 五个关键组成部分构成。它还根据 知识图谱、文档图谱、科学图谱和社交图谱 等不同领域，考察了GraphRAG的特定设计和应用，讨论了 现有挑战和未来的研究方向 。文章还提到了在各个领域中构建图的方法，以及...

这份资料介绍了 Qwen2.5-Coder 系列模型，这是 CodeQwen1.5 的重大升级版。该系列包含六种不同大小的模型（0.5B到32B），专门为 代码相关任务 设计，但同时保留了 通用和数学能力 。这些模型通过精细的 数据清洗 、可扩展的 合成数据生成 以及 平衡的数据混合 进行预训练，数据量超过5.5万亿个token。评估结果显示，Qwen2.5-Coder在 代码生成、补全、推理和修复 等十多个基准测试中取得了 最先进的性能 ，甚至超越了同等规模的更大...

这篇研究论文介绍了 检索增强生成（RAG）模型，这是一种结合了预训练参数化和非参数化记忆的语言生成方法。该研究探索了两种RAG模型：RAG-Sequence和RAG-Token ，它们通过神经检索器访问维基百科的密集向量索引作为非参数记忆，并使用预训练的序列到序列模型作为参数记忆。通过在各种知识密集型自然语言处理任务上进行微调和评估，包括开放域问答、抽象问答、问题生成和事实核查，研究表明RAG模型在多个基准测试中取得了 最先进的...

https://arxiv.org/abs/2404.05427 在过去几十年中，研究人员在实现软件开发过程自动化方面取得了重大进展。大语言模型（LLMs）的最新进展对开发过程产生了重大影响，开发人员可以使用基于 LLM 的编程助手来实现自动编码。然而，除了编码之外，软件工程还涉及程序改进过程，特别是为了实现软件维护（如修复漏洞）和软件演进（如添加功能）。在本文中，我们提出了一种自动解决 GitHub 问题的方法，以自主实现程序改进。在我们名为 A...

https://arxiv.org/abs/2302.13971 LLaMA，这是一组参数规模从 70 亿到 650 亿的基础语言模型。我们在数万亿个词元上训练模型，并表明仅使用公开可用的数据集就有可能训练出最先进的模型，而无需借助专有且无法获取的数据集。特别是，LLaMA-13B 在大多数基准测试中优于 GPT-3（1750 亿参数），LLaMA-65B 与最优秀的模型 Chinchilla-70B 和 PaLM-5400 亿参数相比也颇具竞争力 前往小宇宙评论区与主播互动

https://arxiv.org/abs/2001.08361 语言模型在交叉熵损失方面性能的实证缩放定律。损失与模型大小、数据集大小以及训练所用的计算量呈幂律关系，一些趋势跨越了七个以上数量级。诸如网络宽度或深度等其他架构细节在很宽的范围内影响极小。简单的方程控制着过拟合对模型/数据集大小的依赖关系，以及训练速度对模型大小的依赖关系。这些关系使我们能够确定固定计算预算的最优分配。更大的模型在样本效率上显著更高，因此，计算效率最...

Code Llama，这是一系列基于 Llama 2 的代码大语言模型，在开源模型中具有领先的性能、填充能力、对大输入上下文的支持，以及针对编程任务的零样本指令跟随能力。我们提供多种类型以涵盖广泛的应用场景：基础模型（Code Llama）、Python 专用模型（Code Llama - Python），以及指令跟随模型（Code Llama - Instruct），每个模型分别有 70 亿、130 亿、340 亿和 700 亿参数。所有模型均在 1.6 万个词元的序列上进行训练，并且在长达...

尽管用于软件工程的语言模型（LM）最近取得了进展，但收集训练数据仍然是一个重大痛点。现有的数据集规模较小，最多只有来自 11 个或更少 GitHub 代码库的数千个训练实例。整理此类数据集的流程通常很复杂，需要数百小时的人力；配套的执行环境也会占用数 TB 的存储空间，严重限制了其可扩展性和可用性。为解决这一痛点，我们推出了 SWE-smith，这是一种用于大规模生成软件工程训练数据的全新流程。给定任何 Python 代码库，SWE-sm...

这篇论文介绍了 阿里巴巴的LingmaAgent ，一种旨在通过深入理解整个软件仓库来 自动化解决软件问题 的新方法。它通过 构建知识图谱来整合仓库信息 ，并利用 蒙特卡洛树搜索（MCTS）来有效地探索和理解复杂的代码结构。LingmaAgent在解决GitHub问题方面表现出显著的改进，并在阿里巴巴的内部部署中展现出强大的能力，可以自动修复或在人工干预下解决大量问题 。此外，该论文还 开源了LingmaAgent的Python原型 ，以供其他开发者参考...

http://arxiv.org/abs/2501.12948 该论文介绍了DeepSeek-AI团队研发的 DeepSeek-R1模型 ，这是一款旨在提高大型语言模型推理能力的新模型。 论文首先展示了通过纯粹强化学习训练的 DeepSeek-R1-Zero ，它展现出强大的推理能力但存在可读性等问题。 为解决这些不足并进一步提升性能，团队引入了 DeepSeek-R1 ，该模型结合了多阶段训练和冷启动数据，并在推理任务上取得了与OpenAI-o1-1217相当的表现。 此外，论文还探讨了将DeepSeek...

本篇论文介绍了 DeepSeek-V3 ，一个拥有6710亿参数的庞大 混合专家（MoE）语言模型 。文章详细阐述了其 架构创新 ，特别是无需辅助损失的负载均衡策略和多令牌预测目标，旨在提高训练效率和模型性能。此外，文中也探讨了DeepSeek-V3 训练基础设施 的优化，包括计算集群、低精度训练技术和内存节省策略。论文还介绍了 预训练和后期训练 的细节，包括数据构建、长上下文扩展以及在多种基准测试上的 评估结果 。文章最后讨论了模型的...

OpenAI关于大型多模态模型 GPT-4 的技术报告。报告描述了GPT-4的开发过程及其在 专业和学术基准测试 上的表现，展示了它在多项考试中达到人类水平甚至超越人类的表现。同时，报告深入探讨了GPT-4的 能力和局限性 ，包括处理图像和文本输入、 多语言能力 、以及 潜在的安全风险 （如产生有害内容、 幻觉 和 偏差 ）。文件还详细阐述了为 提升安全性 所采取的缓解措施，并强调需要进一步研究以应对新兴风险和确保负责任的AI发展。 ht...

这份研究 提出了残差学习框架 来解决深度神经网络难以训练的问题，特别是随着网络深度增加出现的性能下降。研究者通过 重构层为学习残差函数 而不是直接学习目标映射，显著简化了极深网络的优化过程。他们在ImageNet数据集上验证了该方法的有效性，成功训练了深度达到152层的网络，并在2015年的ImageNet分类任务中 取得了第一名 。此外，残差网络在CIFAR-10数据集上也展现了优越性能，并被应用于物体检测和定位等任务， 在多项比赛...

BERT 的独特之处在于它能够通过同时考虑左右上下文来学习文本的双向表示 。这与之前只关注单向上下文的模型不同。 通过对无标注文本进行预训练，BERT 可以轻松地针对各种下游任务进行微调 ，例如问答和自然语言推理，而无需进行大量的模型修改。 作者展示了 BERT 在多项自然语言处理任务中取得了显著的改进 ，强调了双向预训练和模型大小的重要性。 论文还探讨了使用 BERT 进行微调和基于特征的方法之间的权衡。 http://arxiv.org/...

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning wi...