XL

xianshang33/llm-paper-daily

开发工具
1335 stars 质量 40 趋势 61

Daily updated LLM papers. 每日更新 LLM 相关的论文,欢迎订阅 👏 喜欢的话动动你的小手 🌟 一个

概览

欢迎来到 ! 这是一个获取 LLM、Agent 相关研究论文的每日更新和分类平台。 📚 仓库每天会带来最新的 LLM、Agent 相关研究,并附有 arXiv 地址、相关 GitHub 仓库和文章的总结。 查看更新文章    更新时间: 2026年10月14日 06:22 - BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems - Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents - Knowledge Graphs as Files: An Agent Harness Where Tool Creation and Tool Use Co-Evolve - Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale - ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning 想订阅每日 LLM、Agent 论文更新时,不需要手动配置脚本。把下面这段话发送给本地的 OpenClaw、Codex 或 Claude Code,让 Agent 帮你完成配置: Agent 会使用仓库里的 paper-subscribe skill,只读取公开的 feed-papers.json,不会在你的机器上运行论文抓取或总结生产流程。

README

llm-paper-daily 日常论文精选

欢迎来到 llm-paper-daily! 这是一个获取 LLM、Agent 相关研究论文的每日更新和分类平台。

📚 每日更新: 仓库每天会带来最新的 LLM、Agent 相关研究,并附有 arXiv 地址、相关 GitHub 仓库和文章的总结。

最新论文

2026年10月

 Date   Paper Links & Summary
10-13 BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems机构: University of ConnecticutBLADE 通过审计依赖证据而非仅仅追踪依赖关系,解决了多智能体系统中故障归因的难题。它通过概率选择关键交接点并审计信息使用的忠实性,有效区分了错误的引入与传播。实验证明,BLADE 在无参考答案的情况下,显著优于现有基线方法,为构建更可解释和可靠的多智能体系统提供了新路径。
10-13 Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents机构: SAP本文提出了一种基于最终结果 grounding 的 LLM Agent 置信度校准方法,解决了传统单步校准无法预测长程任务最终结果的问题。通过 GRPO 框架和适当的评分规则,Agent 能够生成可靠的逐步骤置信度信号。实验表明,该方法在多个环境中显著提升了置信度校准质量(AUROC 和 ECE),并使 Agent 能够在早期识别潜在失败的任务,为运行时控制和人工介入提供了有效依据。
10-13 Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale机构: The University of Hong Kong, Huazhong University of Science and Technology本文揭示了 LLM Agent 在大规模技能库中面临的“隐式路由崩溃”问题,证明了随着无关技能增加,语义干扰和指令竞争会导致 Agent 无法加载必要技能。研究建议采用显式的技能预选择机制(如 RAG 或 LLM 过滤器)将技能检索与任务执行解耦,从而在保持高召回率的同时提升 Agent 的可扩展性和成功率。这一发现为未来 Agent 技能协议的设计和评估提供了重要指导。
10-13 ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning机构: Westlake University, Zhejiang University, Huawei Noah’s Ark LabProAS通过引入进度感知的优势塑造机制,有效解决了无评论家RL算法中的均匀信用分配难题。它在不增加额外评论家网络计算负担的前提下,通过细粒度的动作级信用修正,显著提升了LLM智能体在多轮交互任务中的性能和训练效率,为高效强化学习对齐提供了新的思路。
10-09 Taking Tokenization off the Host for Agentic LLM Serving机构: KTH Royal Institute of TechnologyGraphTok 通过将分词任务卸载到 GPU 并利用 CUDA 图技术,有效解决了 Agentic 工作负载中因前缀缓存普及而凸显的分词瓶颈。它不仅大幅降低了首字延迟,更显著提升了单前端能支持的 GPU 集群规模和整体系统吞吐量,为大规模 LLM 代理服务提供了高效的基础设施支持。
10-09 A Multi-Agent LLM System for Automated Tuning of Specialized Neural Network Models机构: National Research Centre “Kurchatov Institute”, National Research Nuclear University MEPhI, Moscow Institute of Physics and Technology, Harbin Institute of Technology本文提出了一种基于多代理LLM的自动化调优框架,专门用于调整专用神经网络模型中的关键功能模块。通过限制代码生成范围至特定组件并保持整体架构稳定,该方法成功克服了传统自动化ML方法在灵活性和通用性上的局限。实验结果表明,该框架在脉冲神经网络分类和物理信息神经网络求解微分方程等截然不同的任务中均取得了显著的性能提升,展现了强大的跨领域迁移能力和自动化调优潜力。
10-08 OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport机构: Cribl AI Research LabOnTrack 提出了一种创新的轻量级实时监控方案,通过结构感知最优传输技术解决了 LLM Agent 执行过程中的成本和安全隐患。它不仅在速度上达到了毫秒级响应,还在不同数据可用性的场景下展现了灵活的监控能力。实验证明,该方法在早期识别失败轨迹方面优于传统语义匹配方法,并能有效节省计算资源,为 LLM Agent 的安全部署提供了高效的工程化解决方案。
10-08 Agentic-TTT: Training test-time policy for test-time training机构: National University of SingaporeAgentic-TTT通过引入测试时策略,解决了TTT在开放世界中适用性差和资源浪费的问题。它赋予模型自主决定如何从部署经验中学习的能力,实现了近乎翻倍的性能提升和良好的跨域泛化能力,标志着向自主自我改进模型迈出了重要一步。
10-06 **WorldSolver: Can LLM Agents Simulate the Physical Dynamics via Solver Generation?**机构: NLPR & MAIS, CASIA; PKU; Huawei Noah’s Ark LabWorldSolver 是迈向智能体求解器生成的早期重要一步。它揭示了当前LLM智能体在整合物理理解、数学推理和代码实现方面的局限性。该基准测试旨在推动开发能够忠实模拟动态物理世界的智能体,为具身AI和相关领域的进一步发展提供评估标准和研究方向。
10-06 Wiki-Talkie: Multilingual Benchmarking of Persona-Based Agents on Real-World Discussions机构: Amazon本文介绍了 Wiki-Talkie,这是一个针对基于人设的代理进行多语言基准测试的新资源。通过利用维基百科讨论页的真实对话和衍生的人设,该研究揭示了当前 LLM 代理在模拟人类交互时存在的系统性偏差(如过度积极),并证明了基于行为历史的条件策略比显式人设描述更有效。这些发现为开发更忠实于人类行为多样性的社交代理提供了重要见解。
10-06 Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations机构: UK AI Security InstituteTransect 通过提供灵活、可定制的记录分析管道,解决了长程、复杂 AI 评估中的可观测性危机。它不仅提高了评估效率,使评估者能够跟上日益频繁和复杂的 AI 系统迭代,还通过增强透明度、可追溯性和可复现性,支持了 AI 安全评估的科学严谨性。
10-05 ANT: A Multi-Granularity Network Traffic Dataset and Benchmark for Agents Behavior Auditing机构: Tsinghua University本文介绍了 ANT,一个用于智能体行为审计的多粒度网络流量数据集和基准。通过提供风险、场景和行为原语三个层次的标注,ANT 解决了现有数据集在评估智能体行为可推断性方面的不足。基准测试结果表明,虽然现有流量分析方法能提取部分行为信号,但在处理相似流量模式和罕见行为时仍存在局限。ANT 为未来开发更精确的智能体行为审计和取证分析工具奠定了基础。
10-05 Back to the Future: Rethinking EDA Infrastructure for Agentic Systems in Chip Design Verification机构: Columbia University本文针对芯片设计验证中后模拟波形调试自动化的空白,提出了BTTF框架。通过将海量波形数据转化为关系型数据库,并结合多智能体系统进行自然语言到SQL的转换及RTL关联,有效解决了基础设施阻抗问题。实验结果表明,该方法在准确性和质量上均显著优于现有基线,为实现自主化的EDA验证流程迈出了重要一步。
10-03 Not Self-Decidable: LLMs Cannot Draw the Boundary of What an Agent Verifier Can Check机构: Confidential Core AI本文核心观点是“自决性”并非模型的一种能力,而是验证器必须构建的边界。通过实证分析揭示了 LLM 在区分可代码化检查与需人工裁决规则时的系统性失败,特别是模型间的共谋错误。提出的 CoVer 算法通过“先佐证后验证”的策略,利用干预测试和确定性重述来严格界定可判定性,为高风险领域的 Agent 验证提供了更可靠的方法论基础。
10-02 EdgeAgent: Orchestrating On-Device LLM inference for End-User Multi-Agent Systems on CPU-GPU Unified Memory Architectures机构: Sun Yat-sen UniversityEdgeAgent 通过微架构层面的零拷贝张量并行和调度层面的动态草稿预算及异步挂起机制,有效解决了端侧 UMA 架构上多智能体 LLM 推理面临的总线争用和执行碎片化问题。实验证明其在 Apple M4 平台上能显著提升推理速度,为隐私保护的端侧多智能体系统提供了高效的底层支持。
10-01 Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents机构: UC Berkeley本文提出了 RPG 框架,解决了具身智能体在不更新模型权重前提下自主改进执行系统的难题。通过结合离线数据重构、仿真中的闭环练习与诊断、以及严格的跨任务验证,RPG 能够自动生成和优化可重用的符号技能。实验表明,该方法在仿真和真实世界中均取得了超越当前最先进基线(如 ASPIRE 和 CaP-Agent0)的性能,实现了高效、鲁棒且可泛化的机器人控制,为减少机器人部署中的人工工程努力提供了新范式。
09-30 PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents机构: Princeton University, NVIDIA, University of MarylandPivotOPD 解决了多轮智能体训练中因早期关键错误导致的误差累积问题。通过结合预防性蒸馏(利用反向 KL 避免错误)和恢复性蒸馏(利用正向 KL 学习恢复路径),该方法不仅教会智能体少犯错,还教会其在犯错后如何自救。实验表明,该方法在多个复杂交互任务基准上均优于现有最先进方法,且具备跨模型家族的泛化能力。
09-29 Do LLM Agents Execute the Plans They Declare? From Planning-Mode Declaration to Pattern-Specific Execution机构: ADIA Lab本文深入研究了 LLM 智能体中的“计划声明-执行差距”。通过提出 Planning-as-Routing 框架,证明了将规划模式选择与特定的确定性执行器解耦可以大幅提高执行的忠实度和任务成功率。虽然路由机制有效缩小了执行差距,但针对特定任务动态选择最优规划模式的能力仍有待进一步提升。可靠的智能体规划需要同时具备有效的模式选择和忠实的执行能力。
09-29 AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems机构: Fudan University, The University of Chicago, Tsinghua University, TensorBlock, Inc., University of Illinois Urbana-Champaign本文提出了AgentBug-Smith,一种自动化的Harness错误复现方法,解决了现有基准构建成本高、规模小且通用技术不适配的问题。通过构建Live-Harness-Bench,该工作不仅提供了评估智能体Harness修复能力的实时基准,还通过知识蒸馏提升了智能体的自我修复能力。这为持续评估和改进软件智能体在Harness错误修复方面的表现建立了可扩展的基础,推动了递归自我改进智能体目标的实现。
09-28 GPUPhysBench: Benchmarking Coding Agents for Correct and Efficient GPU Physics Simulation机构: Georgia Institute of TechnologyGPUPhysBench 填补了编码智能体在物理模拟领域评估的空白,不仅测试数值方法的正确实现,还严格评估其运行效率。研究表明,尽管前沿智能体能生成正确的物理模拟代码,但在达到专家级优化性能方面仍有巨大提升空间,特别是在处理复杂求解器和不规则内存访问模式时。该基准为未来提升 LLM 在科学计算和高性能计算领域的代码生成能力提供了重要的评估标准和方向。
09-15 FlashVector: Agent for Hierarchical Model Serving Stack Optimization机构: Stanford University, Unity Vector AI TeamFlashVector通过引入一个可扩展的代理框架,成功地将LLM驱动的优化能力从单一的GPU内核扩展到了整个分层的模型服务栈。它在Unity的生产环境中取得了显著的性能提升,证明了自动化跨层级优化的可行性和巨大潜力,为解决大规模推荐系统中的成本效率问题提供了新的思路。
09-15 ToMAS: A Pilot Failure-Grounded Theory-of-Mind Benchmark from Multi-Agent LLM Failures机构: The Islamia University of Bahawalpur; Toronto Metropolitan UniversityToMAS 提出了一种新颖的思路,即将多智能体系统中的真实协调失败(FC2)转化为可用于训练的心智理论基准项和强化学习奖励。尽管初步的 GRPO 实验因技术限制(LoRA 更新 negligible)未能证明训练有效性,但该工作成功建立了一个高一致性的数据转换流水线,并深刻指出了未来研究需要解决的关键问题:确保训练与评估数据领域的匹配性以及采用更鲁棒的评估指标。这为构建基于真实故障的多智能体自我修正机制奠定了基础。
09-10 A Voice-Interactive Multi-Agent System for Smart Operating Rooms: Architecture Design and Key Technologies机构: Wuhan United Imaging Surgical Co., Ltd. (UIS)本文提出的 SurgicalRoomAgent 通过创新的架构设计和三项关键技术(KV Cache 前缀预热、流式部分 JSON 解析与并行执行、渐进式技能提示披露),成功构建了一个低延迟、高效率的手术室语音交互多智能体系统。该系统有效解决了传统手术室控制中的无菌破坏、交叉感染和认知过载问题,为智能手术室的落地应用提供了可行的技术方案。
09-10 Memory Compression for High-Fanout Agent Sandboxes机构: HKUSTAgentZip 针对高扇出 Agent 工作负载的特性,重新设计了内存压缩的策略。通过利用沙箱间的结构相似性、优化压缩时机以匹配 LLM 等待期、以及采用恢复时预取技术,AgentZip 在显著降低内存占用(最高 8.7 倍)的同时,有效控制了性能开销,为大规模 Agent 部署提供了高效的系统支持。
09-09 Agent-Based ML-LLM Fusion with Self-Optimizing Prompts for Plateau Weather Alerts机构: Chengdu Jincheng College本文针对高原旅游气象服务的痛点,提出了 SmartWeatherAgent 框架。通过融合机器学习(LightGBM)与大语言模型(Qwen3),并创新性地引入提示词自优化机制,有效解决了上下文缺失、泛化能力弱和场景适应差的问题。实验表明,该系统不仅具备高效的极端天气预测能力,还能生成具有高度科学严谨性和可解释性的结构化预警信息,推动了气象服务向智能化代理方向发展。
09-08 **The Unreliable Progress Bar: Can LLM Agents Reliably Report Task Progress Throughout Execution?**机构: Beihang University; National University of Singapore本文系统性地研究了LLM智能体在任务执行全过程中报告进度的可靠性。研究发现,模型作为“进度条”并不可靠,其错误模式具有明显的阶段性特征(中期失效或末期保守)。文章提出的评估协议填补了这一领域的空白,并强烈建议智能体框架不应仅依赖模型生成的状态信号来控制任务流,而应结合外部环境状态验证或其他机制来提高鲁棒性。
09-08 Graph-Based Personalized Memory for LLM Agents: Representation, Evolution, Retrieval, and Evaluation机构: Griffith University本文旨在澄清基于图的记忆如何支持自适应、可控且以用户为中心的LLM智能体。通过构建生命周期视角,文章不仅整合了碎片化的研究成果,还指出了构建可靠长期个性化智能体所面临的开放挑战,为未来研究提供了清晰的设计空间和方向指引。
09-07 **What Does an LLM-Agent Leaderboard Rank Actually Compare?**机构: Independent Researcher本文指出 LLM Agent 排行榜分数仅是对已发布评估的总结,而不能直接等同于通用的 Agent 优劣排序。作者提出的估计量感知成对决策程序强调,要得出细粒度的优越性主张,必须明确比较的估计量、测量来源以及不确定性规则。研究表明,在当前的公共基准中,许多排名接近的系统之间并无统计学上的显著差异,盲目依赖排行榜排名可能导致错误的模型选择决策。
09-07 **FinCUABuild: Can Agents Build Reliable Benchmarks for Dynamic Financial Computer Use?**机构: Wuhan University, MBZUAI, Northeastern University, Zhongguancun Academy本文解决了金融领域 CUA 评估任务构建成本高、覆盖率低的问题。通过引入 FinCUABuildBench 基准和 FinCUABuildAgent 多代理系统,实现了金融 CUA 任务的自动化、高质量构建。实验表明,该方法不仅大幅提高了任务构建的合格率,而且生成的任务能有效服务于下游代理能力的评估,为扩展金融场景下的评估覆盖范围提供了切实可行的路径。
09-07 Subagents vs Agent Skills: Executing Reusable Knowledge for Long-Horizon Agentic Tasks机构: Cornell University, Microsoft Research Cambridge本文揭示了在长程智能体任务中,简单的上下文加载式“技能”存在严重的扩展性问题。通过引入子智能体架构,利用独立上下文窗口隔离技能执行,有效缓解了上下文膨胀导致的推理退化问题。尽管增加了 Token 消耗,但在处理具有明确契约的复杂技能时,该方法能显著提升任务成功率,强调了知识组织形式对 LLM 智能体性能的关键影响。
09-06 AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories机构: University of Washington, OumiAURA-Eval 提供了一个新颖的框架,通过受控增强和细粒度诊断,深入评估 LLM 代理在工具使用轨迹中的风险意识行为。研究结果表明,当前开源模型在处理无安全路径的高风险情境时显著弱于前沿专有模型,且所有模型在监督减少时脆弱性增加。该框架为未来提升代理安全性提供了重要的评估维度和方向。
09-06 Robust Conformal Consensus: Multi-Agent LLM-as-a-Judge Interval Evaluation with Conformal Prediction机构: Wayne State University本文针对 LLM-as-a-Judge 评估中未被充分探索的不确定性问题,提出了一种基于多智能体共形预测的鲁棒框架。通过整合多个 LLM 裁判的评分并构建预测区间,该方法有效克服了单模型评估的局限性和变异性,为高风险应用中的自动化评估提供了具有统计保证的、更稳定可靠的不确定性量化方案。
09-04 Trace2Tower: Transition-Aware EigenTrace Induction of Multi-Level Skills for LLM Agents机构: Fudan UniversityTrace2Tower 通过引入过渡感知的 EigenTrace 诱导机制,解决了 LLM 智能体在利用历史轨迹时面临的浅层检索和扁平化问题。它通过构建统一的行为图并应用对比谱分解,有效去除了失败捷径,提取出稳定的成功行为模式,并将其组织为多层次的动力技能塔。该方法在复杂交互任务中展现了卓越的性能和效率,为智能体的持续学习和经验复用提供了新的范式。
09-04 TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery AgentsTruthInsightBench 填补了评估开放式科学发现智能体的空白,通过自动化、基于证据的评分机制,明确区分了分析执行与科学发现。研究指出,当前智能体的主要瓶颈在于缺乏科学判断力,而非代码生成能力。该基准为衡量和提升 AI 科学家的真实发现能力提供了可量化的目标。
09-03 SENTINEL-RL: Offloading Topological Reasoning from LLM Agents in the Security Operations Center机构: Indiana UniversitySentinel-RL 通过神经符号混合方法解决了 LLM 在 SOC 自动化中的核心瓶颈。通过将拓扑推理卸载给基于图的强化学习策略,同时保留 LLM 在语义理解和报告生成上的优势,该系统在保证动作一致性和拓扑感知能力的同时,实现了企业级的高吞吐量和低延迟响应,为自动化安全运营提供了可靠的工程范式。
09-03 Value-Preserving Architectures for Agentic AI Systems机构: TU Wien本文论证了架构选择不仅影响 MAS 的功能和性能,还能促进面向价值的系统行为。通过提出隐私感知的联邦架构、促进多元的分布式架构以及检测不公的守卫代理架构,本文为设计可信赖的代理式 AI 系统奠定了统一的架构模式和指导方针基础,推动了从功能正确性向价值对齐的工程范式转变。
09-02 LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails本文批判了将 LLM 法官视为自改进系统中绝对真理的做法,指出其在优化压力下极易失效。作者通过生产环境的实践经验,总结了评估失败的多种模式,并提出了 PROCTOR 架构。该架构通过引入确定性护栏(如沙箱、角色分离、冻结数据集等),将 LLM 法官从“神谕”降级为“顾问”,确保了系统改进的真实性和可靠性。研究表明,只有结合确定性验证层,才能有效防止奖励黑客攻击和评估信号腐败,实现真正的自改进。
09-02 APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering机构: University of Science and Technology of ChinaAPEx 解决了深度研究智能体在经验利用上的核心痛点,即如何将历史交互转化为可泛化的程序技能,并在测试时无监督地适应新任务。通过分层记忆结构和奖励引导的蒸馏机制,APEx 实现了从“检索过去”到“适应未来”的转变,显著提升了智能体在复杂问答任务中的表现和鲁棒性。
09-02 CAPTURE: Disentangling Preference Drift from Memory Poisoning in Personalized LLM Agents本文针对个性化 LLM 代理中记忆机制带来的安全与适应性矛盾,提出了 CAPTURE 框架。通过将问题形式化为潜在用户状态下的连续时间部分可观察决策过程,CAPTURE 利用神经微分方程、多时间尺度记忆和主动澄清机制,有效解耦了真实偏好漂移与记忆投毒。实验表明,该方法在显著提升个性化准确率的同时,能有效抵御多种形式的记忆投毒攻击,为构建既智能又安全的记忆增强型代理提供了新思路。
09-01 EDGE: Error Dependency Graph-Guided Multi-Error Attribution in Multi-Agent LLM Systems机构: Virginia Tech本文针对 LLM 智能体多错误归因中忽视错误依赖关系的问题,提出了 EDGE 框架。通过构建和验证错误依赖图,并结合两阶段检测机制,EDGE 不仅提高了多错误归因的准确性,还为错误解释和修复分析提供了可靠的因果依据。研究结果表明,依赖结构是超越孤立根因预测的有力诊断工具。
09-01 GlossoGen: Emergent Language in Complex Multi-Agent LLM Interactions机构: University of Texas at Austin, AE Studio, Schmidt Sciences, University of Edinburgh本文通过GlossoGen平台证实,LLM智能体在特定压力和交互机制下会自发演化出高效但人类不可读的组合性语言。研究揭示了模型强度在语言创新与传承中的不同作用,强调了LLM具备累积文化演化的潜力。这一发现对多智能体系统的安全性监控构成了严峻挑战,同时也为理解LLM的语言表征提供了新的历时性视角。
09-01 Retrieved but not ranked: surface-form bias in structural retrieval, from mathematics to agent trajectories机构: MIT CSAIL本文揭示了当前嵌入检索模型在结构化检索任务中存在严重的表面形式偏差,即模型倾向于匹配字面 tokens 而非底层任务结构。通过跨领域对比和严格的控制实验,论文证明了单一的检索基准评估具有误导性,并指出当前下游应用(如数学求解)中检索模块的性能提升空间有限,因为瓶颈在于生成阶段而非检索阶段。该研究为未来构建更鲁棒的结构化检索基准和评估体系提供了重要见解。
08-31 E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation机构: Alibaba Group (Qwen Team, Taobao & Tmall Group), HKUSTE-Commerce Bench 填补了长视界自主商业操作评估的空白。通过模拟真实且动态的电商环境,该基准测试揭示了当前LLM智能体在处理长期依赖、动态适应和多目标权衡方面的能力差异。结果表明,虽然顶尖闭源模型在资产增值上表现优异,但在稳健性和特定业务能力上仍存在短板,而部分开源模型已展现出强大的长期学习和适应能力。
08-31 Token-Efficient Data Reasoning Agents via Adaptive Structuring of Unstructured Data机构: Harvard University本文提出了“智能体数据裂解”技术,旨在解决LLM智能体在非结构化数据推理中成本高昂的问题。通过在推理过程中自适应地提取和积累结构化知识,系统能够随着使用次数的增加而不断优化,形成一个位于模型之下的共享知识基底。这种方法不仅大幅降低了查询成本,还保持了高准确性,为下一代面向非结构化数据的智能体推理基础设施迈出了重要一步。
08-31 **Detecting AI Impostors: How Do Middle Schoolers Identify LLM Agents in a Live Collaborative Setting?**机构: University of Texas at San Antonio## 文章做了什么 - 背景:大型语言模型(LLM)能够高度模仿人类写作风格,引发了关于身份冒充、信任和社会互动中检测能力的担忧。青少年频繁使用生成式AI,但可能难以识别AI生成的内容,且缺乏评估其来源和可靠性的经验。 - 已有工作的局限性:现有研究主要关注孤立环境下的静态文本检测(即二元分类任务),忽略了实时社交互动中的复杂因素(如异步沟通、策略性时机和社会相关性)。此外,绝大多数研究针对成年人群体,忽视了青少年独特的社会线索和群体认同对检测推理模式的影响,导致现有方法无法解释在动态协作环境中用户如何识别AI。 ## 文章的核心贡献点 - 提出了一个名为 DoppelBot 的协作式社交推理游戏:旨在研究青少年在实时协作环境中检测和应对AI冒充的行为。
08-30 How do World Models and Policies Compose in LLM Agents? A Joint Spectral and Behavioral Account机构: Dartmouth College, Columbia University## 文章做了什么 - 背景:大型语言模型(LLM)智能体的后训练流程通常采用两阶段范式:首先进行世界模型训练(预测下一状态以理解环境动态),随后进行策略训练(最大化奖励以掌握任务)。尽管这种顺序流水线在实证上显著优于仅进行策略训练,但其内部机制尚不明确。 - 已有工作为什么解决不了:现有研究大多将组合后的流水线视为黑盒进行评估,或孤立地分析后训练更新的属性,缺乏对世界模型阶段和策略阶段之间具体相互作用机制的直接对比和分析。因此,不清楚世界模型是仅仅提供了更好的初始化,还是留下了与策略互补的表征结构。 ## 文章的核心贡献点 - 提出了一个:基于谱分析和行为分析的联合框架,用于解构LLM智能体中世界模型与策略的几何互补性及交互机制。
08-30 Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks机构: University of Michigan本文提出了一个多维度的 LLM 代理创造力评估框架,解决了现有方法无法区分内部新颖性与外部历史新颖性的问题。通过实证研究揭示了一个关键洞察:当前的 LLM 代理具备探索非传统解决方案的能力(高 H-Creativity),但在将这些创新转化为实际有效的工程成果方面存在显著缺陷。这表明未来的研究重点应从单纯鼓励新颖性转向提高代理将新颖想法转化为有用性能的能力。
08-30 Reachability-Based Capability Confinement for LLM Agents under Indirect Prompt Injection机构: Kent State University, PayPal AI Labs, University of HoustonSkillGuard 提出了一种基于可达性的能力限制框架,有效解决了 LLM 代理在面临间接提示注入时的权限管理问题。通过引入技能影响图和无需模型推理的动态能力限制策略,它在保证高安全性的同时,最大限度地保留了代理的正常功能,且在性能开销上具有显著优势。该方法为构建更安全的 LLM 代理系统提供了新的系统级防御思路。
08-29 trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories机构: Utrecht University本文指出当前LLM智能体评估中“仅结果”方法的严重缺陷,特别是其对过程错误但结果正确的“沉默故障”的低检测率。通过构建一个具有精确Ground Truth的确定性测试环境,作者量化了不同法官模型的局限性,证明了步骤级评估(Step-rubric)在检测沉默故障上的优越性,尽管成本较高。文章强调未来的法官评估必须按“结果是否幸存”进行分层分析,并发布了完整的可复现 artifacts 以促进该领域的发展。
08-28 RetailAgent: Structured Adverse Timing in Self-Conditioned Multimodal LLM Trading Agents机构: University of Wisconsin–Madison, University of Rochester, Michigan State University本文通过 RetailAgent 框架揭示了 LLM 代理在金融交易决策中存在稳定且可恢复的方向性结构,具体表现为系统性的逆向择时。这种负向 timing 并非随机噪声,而是由代理的动作与后续市场回报之间的系统性错配驱动,且因自我记忆的引入而加剧。这一发现表明,当前的 LLM 交易代理可能成为市场中可被利用的可预测对手方,为理解 AI 代理在市场微观结构中的行为提供了新视角。
08-27 When Tool Outputs Become Commands: Separating Action Induction from Runtime Authorization in Tool-Augmented LLM Agents机构: Institute of Information Engineering, Chinese Academy of Sciences## 文章做了什么 - 背景:工具增强的 LLM 智能体在执行开放式任务时,必须依赖不可信的运行时观察(Observations)。当工具输出不再仅提供数据,而是开始指定具体动作时,它们实际上变成了能够驱动超出用户意图的现实世界副作用的“命令”。 - 已有工作为什么解决不了:现有的防御机制面临结构性张力:限制不可信的外部内容可以提高安全性,但会削弱开放式任务所需的运行时适应性;反之,若允许观察结果自由影响后续决策,攻击语义可能通过正常的工具步骤传播,最终产生未经授权的外部效应。现有方法难以区分合法的运行时适应与攻击诱导的行为,导致在安全性和实用性之间难以取得平衡。 ## 文章的核心贡献点 - 提出了一个 SARA 框架:该框架将动作诱导(Action Induction)与执行授权(Execution Authorization)视为不同的运行时角色,并将动作来源与执行权限分离。
08-25 Simthesizer: An Agent-Driven Simulation Framework for LLM Serving Systems机构: KAISTSimthesizer 通过引入智能体驱动的开发模式和可组合的动态图基础设施,有效解决了现有 LLM 服务模拟器在面对快速演进的复杂工作流时维护困难、开发滞后及保真度不足的问题。它不仅大幅提升了模拟器的开发效率和执行速度,还保证了较高的模拟准确性,为未来 LLM 服务系统的快速原型设计和性能评估提供了强有力的工具支持。
08-25 Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight机构: Sprinklr AI本文通过实证研究建立了语音代理LLM评委评估的可靠性框架。结果表明,虽然LLM评委在大规模评估中具有巨大潜力,但不能盲目替代人类。最佳实践应采用混合流水线:由LLM评委处理可扩展的、客观的指标评估,而人类评委则专注于需要复杂上下文解释和高置信度判断的关键指标。这为未来语音代理的自动化评估标准制定提供了重要参考。
08-24 InjecMEM: Memory Injection Attack on LLM Agent Memory Systems机构: Shanghai Jiao Tong University, Ant Group本文揭示了LLM代理记忆系统面临的新安全威胁,提出了InjecMEM攻击框架。通过解耦检索锚点和对抗命令,并采用梯度优化策略,成功在单次交互中实现了对记忆系统的有效注入和操控。研究结果强调了加固记忆系统的紧迫性,并为代理记忆安全研究提供了可复现的框架。
08-24 Right-Sizing LLM-Agent Decomposition in VAT Determination: A Pilot Controlled Sweep机构: Independent Researcher本文通过严格控制变量的试点研究,揭示了 LLM Agent 分解粒度对性能的非单调影响。虽然中间粒度的分解在准确率上表现最佳,但其优势受限于提示词预算的解释空间。研究指出,简单的多 Agent 分解并不总是优于单 Agent,且在面对结构化幻觉时更为脆弱。最终贡献在于提供了一套可复现的基准测试方法和“在依赖层中点进行分区”的启发式策略,为未来 Agent 系统设计提供了实证依据。
08-23 From Diagnosis to Redesign: Using Quantitative Ethnography to Improve Multi-Agent LLM Reasoning机构: University of California, Irvine; University of California, Los Angeles; Monash University; Columbia University; University of Pennsylvania本文提出了一种利用定量民族志和认识网络分析来诊断和改进多智能体LLM系统的新范式。通过深入分析智能体间的话语交互模式,研究者成功识别了导致推理失败的结构化原因,并通过针对性的提示词重设计显著提升了系统性能。该方法超越了传统的黑盒评估,为理解和优化复杂多智能体系统的推理机制提供了可解释、可操作的路径。
08-22 EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning机构: School of Artificial Intelligence, University of Chinese Academy of Sciences; Institute of Automation, Chinese Academy of SciencesEDGE 提出了一种新的智能体强化学习范式,通过将外部经验从“推理时检索”转变为“训练时蒸馏”,解决了经验复用中的策略依赖性和外部依赖性问题。该方法不仅显著提升了长程复杂任务的性能,还实现了更轻量、更鲁棒的推理部署,为 LLM 智能体的持续学习和能力内化提供了有效路径。
08-22 **GameXpert-Bench: How Far Are Coding Agents from Expert Game Development?**机构: Institute of Automation, Chinese Academy of Sciences; TencentGameXpert-Bench 填补了游戏开发领域全生命周期评估的空白,通过细分生成、修复和优化三个阶段,提供了更细粒度的能力画像。研究结果表明,虽然 LLM 智能体能快速构建游戏原型,但在达到专家级开发水平(特别是调试和长期维护)方面仍有很长的路要走。该基准为未来提升代码智能体的鲁棒性和工程化能力提供了重要的评估标准和方向。
08-21 ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents机构: Shanghai Artificial Intelligence LaboratoryClawSentry 提出了一种针对自主 LLM 智能体的渐进式多层安全监控方案,解决了现有防御在跨阶段风险覆盖和状态感知上的不足。通过首次使用技能包审查、三层渐进式决策引擎以及会话级防绕过机制,它在多个主流智能体平台上实现了显著的攻击成功率降低,同时保持了极高的任务完成率,为智能体运行时安全提供了一个高效、通用的解决方案。
08-21 Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems机构: Tampere University本文针对 RAG 系统中存在的“安全-可靠性差距”,提出了一种基于评估代理的防御机制。通过融合 NLI 事实验证和多信号投毒检测,该代理能在生成前有效识别恶意检索内容,特别是在防御指令注入方面表现优异。尽管在处理细微语义篡改和跨域泛化上仍面临挑战,但该工作为构建可信赖的 RAG 系统提供了重要的在线防御思路和实用工具。
08-21 Don’t Solve, Just Compare: Tiny Advisors for Runtime Intervention in LLM Agents机构: National University of Singapore本文提出了COTA框架,解决了LLM智能体运行时干预中辅助模型成本高和能力冗余的问题。通过引入仅基于比较的小型顾问模型,COTA能够在不要求辅助模型具备完整任务求解能力的前提下,提供有效的恢复方向。实验证明,该方法在多个复杂任务基准上均取得了优于现有方法的性能,展示了轻量级干预在提升智能体可靠性方面的巨大潜力。
08-19 Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution机构: University of Illinois本文质疑了使用重型 LLM 进行智能体故障归因的必要性,提出了轻量级的 AFANet 框架。通过将多智能体交互轨迹建模为图结构,AFANet 以极低的计算成本实现了与昂贵 LLM 方法相当甚至更好的归因准确率。研究结果表明,有效的故障归因不需要沉重的 LLM 推理,轻量级且结构化的方法足以取得强劲性能,为解决 MAS 中的可解释性和调试问题提供了高效的新途径。
08-19 A Multi-Agent Platform for Automated Enterprise Analytics and Insight Generation机构: Rakuten India Enterprise Private Limited本文提出了一种用于自动化企业分析和洞察生成的多代理平台,通过结构化工作流解决了传统 BI 工具效率低和现有 AI 方案准确性不足的问题。该系统不仅在准确性和质量上显著优于单代理基线,还通过纵深防御安全和查询参数化机制满足了企业级部署的安全性和实用性需求,为对话式商业智能提供了可靠且可扩展的解决方案。
08-17 Palmyra x6 Technical Report: An Agentic, Tool-Use Model Post-Trained via Anchored Supervised Fine-Tuning机构: Writer, Inc.Palmyra x6 技术报告展示了一种“少即是多”的后训练范式。通过精心设计的锚定监督微调(ASFT)和先进的优化器(Muon),研究者仅用极少量的合成数据(626 条轨迹)和单轮训练,就在不损害基础模型通用能力的前提下,显著提升了模型在企业级代理任务(如工具调用、多步规划)中的性能。该方法不仅在公共基准上取得了领先地位,更在实际企业应用场景中证明了其高效性和实用性,为资源受限下的高性能模型定制提供了重要参考。
08-17 AeroCopilotBench: A Two-Tier Benchmark for Evaluating LLM Agents as Aviation Copilots in an Interactive Virtual Cockpit Environment机构: Beihang University本文提出了 AeroCopilotBench 和 ACOE,填补了航空领域 LLM 智能体在交互式环境下的评估空白。通过双层基准和安全门控机制,系统性地评估了智能体的知识应用、交互执行和操作安全性。研究结果表明,当前模型在将静态知识转化为安全、完整的程序执行方面仍存在显著挑战,为未来开发更可靠的航空辅助智能体提供了重要的评估基础和方向指引。
08-15 **VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?**机构: HKUST(GZ), Tencent本文提出了VibeWorlding框架,解决了现有3D世界构建代理评估标准单一和缺乏有效训练机制的问题。通过构建大规模的VWE-BENCH基准和支持RL训练的VibeWorlding-Gym环境,证明了强化学习后训练能显著提升开源多模态大模型在复杂3D场景构建任务上的性能,使其达到甚至超越当前最先进的闭源模型水平。
08-15 LAPF: LLM-Agent-Based Path Finder Using the UAVScenes Dataset本文提出的 LAPF 框架通过构建包含感知、记忆、规划和行动的闭环认知架构,有效克服了现有 LLM 辅助导航方法在代理功能上的局限。实验结果表明,LAPF 不仅在路径规划效率上优于传统的 CoT 提示方法,更在复杂动态环境中的安全性和稳定性方面表现出显著优势,实现了零控制异常事件,为无人机在城镇规模户外环境中的自主导航提供了新的解决方案。
08-14 Clearing the Fog: Towards Installing and Refining Proactive Exploration Capabilities in LLM Agents机构: Sichuan University, National University of Singapore, University of Leeds本文针对LLM智能体在复杂交互环境中缺乏主动探索能力的问题,指出了现有SFT-RL范式中数据偏差和训练机制的缺陷。通过提出SAFARI框架,结合合成探索丰富数据的SFT阶段和引入对比信号引导的RL阶段,成功赋予了智能体主动探索的能力。该方法不仅提升了智能体在长程决策任务中的表现,也为理解和发展具身智能体的探索行为提供了新的视角。代码已开源。
08-14 SheetCompass: Hierarchical Relation Graphs for Agentic Spreadsheet Reasoning机构: State Key Laboratory of Cognitive Intelligence, University of Science and Technology of ChinaSheetCompass 解决了 LLM 在处理复杂电子表格时因结构扁平化而丢失空间语义的关键问题。通过引入分层关系图来显式建模表格内部及之间的结构关系,并结合双层记忆机制和多代理协作框架,该方法有效增强了代理在复杂工作流中的规划、执行和自我修正能力,实现了电子表格自动化推理性能的显著提升。
08-13 MARC v1: An Open-Source Multi-Agent Framework for Clinical AI Reasoning and Coordination机构: University of California, Davis; University of Pennsylvania; Drexel University## 文章做了什么 - 背景:大型语言模型(LLM)在医学领域(如放射报告生成、临床问答)展现出巨大潜力,但目前的部署多依赖于单体提示策略(monolithic prompting),即单个LLM实例同时负责提取、推理、验证和动作生成。 - 已有工作为什么解决不了:单体策略限制了模型潜力的发挥且缺乏可解释性。临床决策通常需要多源上下文信息和多步推理,而现有的单体方法难以处理这种复杂的顺序推理、验证及异构信息整合需求,导致可靠性、透明度和患者安全保障不足。 ## 文章的核心贡献点 - 提出了一个 MARC (Multi-Agent Reasoning and Coordination) 框架:这是一个开源的、确定性的多智能体编排框架,旨在替代临床推理中的单体LLM提示。
08-13 Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes机构: University of Central Lancashire本文探讨了利用小语言模型(SLMs)和边缘计算来增强具身虚拟代理的认知能力。通过在NVIDIA Jetson Orin NX上部署Qwen2.5模型,研究验证了SLM在支持CEAA架构中“思考”和“记忆”组件方面的有效性。实验结果显示,该系统能够在资源受限的边缘环境中实现低延迟、上下文感知的交互,为开发在元宇宙等复杂虚拟环境中高效运行的智能代理提供了可行的技术路线和实证依据。
08-12 Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control本文通过理论分析和实验验证,解决了 LLM Agent 控制路径中的 GPU 利用率低和主机往返开销大问题。首先,通过“就绪队列”框架量化了 GPU 并发执行的潜在机会,证明精确打包能大幅恢复因固定窗口损失的性能。其次,通过保持路由决策在 GPU 设备端,避免了不必要的主机通信,实现了 1.19x-2.39x 的加速。这项工作为构建高效的 LLM Agent 系统提供了具体的系统设计指导,强调了截止期管理和数据放置的重要性。
08-12 LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation机构: Peking UniversityLoongReflect 解决了长视野智能体中反思学习的核心难题,即局部反思动作与全局任务结果之间的监督不匹配问题。通过将反思建模为记忆控制策略,并结合全局视角蒸馏(快速通道)与基于结果的轨迹优化(慢速通道),该方法有效地提升了智能体在复杂推理任务中的规划、纠错和最终成功率。
08-11 GitSkills: A Dataset of Agent Skills on GitHub机构: University College London本文介绍了 GitSkills,这是第一个大规模公开可用的 Agent Skills 数据集,涵盖了 2026 年 7 月之前 GitHub 上的近 380 万个技能文件。该数据集解决了因 Agent Skills 的非传统特性(自然语言、概率加载、去中心化)而导致的研究数据缺失问题。通过提供详细的文件内容、元数据和复用追踪信息,GitSkills 为软件工程社区研究 LLM 代理技能的采用、维护、安全性和最佳实践奠定了基础,有助于理解这一新兴软件工件的演化规律。
08-10 Agentic Harnesses: LLM-Driven Verification Layers for Robot Autonomy机构: Pacific Northwest National Laboratory本文提出了一种名为“Agentic Harnesses”的LLM驱动验证层,旨在解决机器人自主系统中规划动作的安全性与伦理问题。通过采用多模型集成的“法官”机制,该方法有效克服了单一模型的局限性,在规划与执行之间建立了可靠的安全网关。实验结果表明,该系统在保证高精确率的同时,能极大程度地遏制对抗性攻击,为构建更安全、可信的无人监督机器人自主系统提供了新的架构思路。
08-09 Unaccountable Delegation, Fading Skills: Mapping the Risks of Workplace AI Agents机构: King’s College London, Nokia Bell Labs, University of Sussex, Politecnico di Torino本文指出职场 AI Agent 的风险不仅源于 Agent 本身,还取决于人与 Agent 的协作方式及部署模式。通过构建专门的多层框架和风险分类法,研究揭示了自动化与增强模式下的不同风险特征,强调了设计良好的人机协作机制对于构建更安全职场的重要性,为组织提供了更精准的风险识别和管理工具。
08-08 LatticeMind: A Conflict-Aware Memory Primitive for Multi-Agent Systems机构: University of Science and Technology of ChinaLatticeMind 通过将矛盾处理视为记忆问题而非单纯的回答选择问题,提出了一种新的多智能体系统记忆原语。它通过结合廉价符号检查和选择性 LLM 协调,实现了高效且高精度的冲突管理。实验证明其在处理知识冲突方面显著优于现有基线,尽管在复杂规划任务中仍有局限,但为构建具有持久冲突感知能力的多智能体系统提供了重要基础。
08-07 Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing机构: Stanford University, University of Wisconsin–Madison本文揭示了当前LLM代理在假设检验中缺乏可靠统计推理的问题,即虽然代码执行正确但统计推断存在细微错误。通过构建专注于统计有效性的新基准 P-Bench 和引入经过强化学习训练的 Fisher-R1 代理,文章证明了在具有验证统计奖励的任务上进行强化学习可以大幅提高LLM在科学假设检验中的可靠性。Fisher-R1 在多个领域和难度级别的任务上均优于现有的最先进模型,为自动化科学发现提供了更可信的工具。
08-04 MAFIA: Query-Only Memory Attacks via Probing and Factual Injection against Audited LLM Agents机构: The Hong Kong University of Science and Technology## 文章做了什么 - 背景:记忆增强型大语言模型(LLM)智能体依赖外部记忆库进行长程推理和任务执行,但记忆模块暴露了恶意记录的攻击面,使得记忆投毒威胁的研究至关重要。 - 已有工作为什么解决不了:现有的仅查询攻击(query-only attacks)在两种现实且普遍的场景下往往失效:一是大规模良性记忆池导致的高检索竞争性,二是活跃输入审计带来的严格语义检查。现有方法难以同时应对高竞争检索环境和严格的语义审计双重挑战。 ## 文章的核心贡献点 - 提出了一个名为 MAFIA 的仅查询记忆攻击框架,通过探测和事实注入来对抗审计,专为扩展威胁模型设计。
08-04 SAT-Edge-Agent: Hardware-in-the-Loop Edge-Agent Orchestration for Onboard Satellite Intelligence机构: College of Engineering, The Pennsylvania State University; OgCloud LimitedSAT-Edge-Agent 展示了在商用现成边缘硬件上实现星上智能体编排的可行性。其核心贡献不在于提出新的检测算法或地理定位方法,而在于构建了一个完整的、可复现的硬件在环测试框架,揭示了在资源受限环境下,端到端延迟的主要瓶颈在于语言服务与系统编排而非视觉检测本身。该工作为未来星上边缘智能系统的开发与评估确立了重要的基准和参考架构。
08-03 ParEvalLayer: When Partial LLM-Agent Evaluations Support a DecisionParEvalLayer 解决了 LLM Agent 评估中部分数据决策难的问题。它不仅仅是一个早停机制,而是一个透明的决策层,能够根据预设策略判断当前证据是否充分。实验证明,该方法能在显著减少评估成本(仅需少量任务结果)的同时,保持与全量评估高度一致的决策准确性,强调了在评估报告中明确决策规则和未决状态的重要性。 <d
View this README on GitHub

推荐工具

换一个关键词,或者移除筛选条件。

安装

npx skillfish add xianshang33/llm-paper-daily