大模型论文天天读

Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few...

Large language models (LLMs) have been increasingly used to interact with external environments (e.g., games, compilers, APIs) as goal-driven agents. However, it remains challenging for these language agents to quickly and efficiently learn from trial-and-error as traditional reinforcement learning methods require extensive training samples and expensive model fine-tuning. We propose Reflexion, a...

Google Labs 推出的 Jules、GitHub Copilot 的新编码智能体功能（下文简称 GitHub Copilot Agent）以及 OpenAI 发布的 Codex Agent 前往小宇宙评论区与主播互动

关于 大型语言模型（LLMs）赋能的软件工程代理 的 综合性调查报告 。文章深入探讨了 基于LLM的代理在软件工程（SE）领域 的应用，强调了它们通过感知和利用外部资源和工具 增强了LLMs的能力 。通过对106篇论文的分析，研究将现有工作分为 SE和代理两个视角 进行讨论，涵盖了从需求工程到代码生成、测试和维护等 各种SE任务 。此外，文章还讨论了 代理系统的核心组成部分 ，包括规划、记忆、感知和行动，并分析了 多代理系统和人与...

tickIt 的创新框架，该框架利用 大型语言模型 来自动化和改进 云服务系统中客户支持工单的升级流程 。它解决了手动升级的低效性和现有机器学习模型的局限性，通过 动态更新工单状态 、 基于主题进行准确路由 以及 识别工单之间的关系 来增强升级过程。该系统已在 火山引擎 平台部署，并证明了其在提高工单升级的 准确性和效率 方面的有效性，标志着该领域的重要进步。  https://arxiv.org/abs/2501.15134  前往小宇宙评...

探讨了 BitsAI-CR ，一个利用大型语言模型（LLMs）来改善软件开发中耗时且重要的 代码审查 流程的系统。该系统采用 两阶段方法 ，首先由 RuleChecker 识别潜在问题，然后由 ReviewFilter 验证以确保准确性。通过一个基于 全面的审查规则分类 的 数据飞轮机制 ，BitsAI-CR 得以持续优化。作者引入了 过时率指标 来衡量开发者对评论的接受度，并在字节跳动的大规模部署中验证了其有效性，证明了自动化代码审查在实际应用中的潜力。...

语言模型是少样本学习者”。 该研究由 Tom B. Brown 和30位其他作者撰写，并于 2020年5月28日 首次提交，并于 2020年7月22日 修订至第4版。 论文主要探讨了大型语言模型 GPT-3 在仅提供少量示例的情况下执行各种自然语言处理任务的能力。 它详细介绍了GPT-3在 翻译、问答和算术 等任务上的表现，并指出了其不足之处以及可能存在的 方法论问题 。 此外，论文还讨论了GPT-3生成新闻文章 难以与人类作品区分 的发现，并探讨了其 社会影...

语言模型是无监督多任务学习者，介绍了通过在大量网页数据上训练一个大型语言模型（GPT-2）来实现 零样本任务迁移 的创新方法。研究表明，仅仅通过预测文本序列的下一个词，模型就能在不进行特定任务监督训练的情况下，在诸如阅读理解、摘要和问答等各种自然语言处理任务上展现出令人惊讶的能力。模型参数量的增加与性能的提升呈对数线性关系，这表明模型容量对于实现成功的零样本学习至关重要。虽然在某些任务上的表现仍有不足，...

介绍了一篇名为 " MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework " 的 研究论文 。该论文探讨了 大型语言模型 (LLMs) 的多智能体系统 在解决复杂任务时遇到的挑战，特别是由于链式应用 LLMs 造成的 逻辑不一致和幻觉问题 。研究人员提出了一种名为 MetaGPT 的新型元编程框架 ，它通过将 人类工作流程 融入多智能体协作来提高效率。MetaGPT 采用 标准化操作流程 (SOPs) 来简化工作流程，并利用 流水线模式...

improving language understanding by generative pre-training 首次提出了 GPT （Generative Pre-trained Transformer）方法：使用Transformer构建大型自回归语言模型，在海量无标签文本上进行生成式预训练，然后通过最小量的结构修改对各下游任务进行微调。该两阶段方法在多个语言理解基准上表现优异，在12个任务中有9项超越此前最优结果 该论文开创性地将Transformer用于无监督语言模型预训练并迁移到下游任务，是现代GPT系列模...

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Expe...