每日 AI 论文简报|2026 年 10 月 2 日

重点关注

本期从 18 篇候选中选出 5 篇重点阅读。重点论文已核阅 arXiv 摘要页和公开 PDF;数字和结论均为作者报告,未做独立复现。阅读 AI benchmark 时,应区分基准分数与真实能力,并检查比较基线、数据污染、可复现性和算力成本。

1. Argus:GUI 智能体的“不确定性”不能跨部署直接搬运

核心问题。 计算机使用智能体把 VLM 的预测直接变成 GUI 点击,系统需要知道什么时候拒答、校准置信度、区分轻微误点与危险误点。论文问:一个 UQ 方法在某个模型和数据集上有效,换模型、界面或数据集后还可靠吗?

方法与基线。 Argus 在单步 GUI grounding 上建立跨 regime 基准:4 个开源 VLM agent、4 个数据集组成 16 个单元,测试 27 种后验 UQ 方法;另有 3 家前沿厂商、4 个数据集和 8 种 API 可运行方法的闭源矩阵。作者使用 80/20 校准/测试划分并重复 50 个种子,比较错误排序、选择性执行、校准、误差严重度迁移以及 conformal click-disk 的空间覆盖。内部信号只在开源模型可见,闭源 API 不用代理替代。

作者报告的主要结果。 固定模型跨数据集时,UQ 排名迁移平均 Spearman ρ 为 0.705,最高达到 0.969;开源到闭源的跨 tier 迁移在 12 个 vendor×dataset 对上平均只有 +0.08,95% bootstrap 区间包含 0。开源条件下 hidden-state/density 方法通常更稳定,但没有一家族在所有 regime 都占优。校准良好的局部加权 conformal 圆盘可使半径缩小 40%–60%,而校准集与测试集或可观测接口不匹配时覆盖率会下降。

创新、局限与失败条件。 贡献不是再提出一个 UQ 分数,而是把“方法是否能换环境”作为主要问题,并同时评测分数级错误排序和可执行点击区域。论文只研究单步点击,不覆盖多步轨迹;每格采样数为 5,也没有提出新的 UQ estimator。API 版本、提示和闭源模型的接口会影响可比性,benchmark 分数也不能直接当作生产安全率。部署时应在目标模型和校准集上重新排序并检查空间覆盖。

适合谁读、怎么读。 适合 GUI agent、可靠性评估、拒答/校准和安全部署研究者。建议先读评测协议与泄漏控制,再看跨数据集/跨接口排名迁移,最后读 conformal click-disk 与 regime-aware 选择流程。

2. CASE:把纵向医学问答改成“主动找证据”

核心问题。 传统医学 benchmark 把已经挑好的病历和影像交给模型,测的是“基于给定证据回答”,不是模型能否从纵向记录中找到决定性证据。CASE 让 agent 自主决定要看哪次随访、哪个器官、哪种 MRI 序列和哪些专用工具,再形成结论。

方法与基线。 数据来自 UK Biobank,包含 4,739 名参与者和 50,401 个临床问题;每个环境连接基线与随访 MRI、临床上下文及工具。一个基于 Qwen3-VL-8B 的共享策略通过 Radiologist、Anatomist、Consultant 三种角色工作:先从 14,734 条前沿模型交互轨迹做筛选式监督微调,再用 agentic RL 在自身环境交互上训练,并加入 privileged on-policy self-distillation、基于 rubric 的 LLM feedback 与证据—结论 linkage reward。评价按 ten task-format strata、相同工具和预算比较通用及医学模型。

作者报告的主要结果。 三角色平均表中,CASE-8B 的 Micro accuracy 为 76.1%、Macro accuracy 为 75.1%;GPT-5.4-0305 为 65.3%/65.7%,Claude Opus 4.8 为 68.6%/65.8%。作者据此在摘要中报告,相对 GPT-5.4 和 Claude Opus 4.8 的答案准确率分别有超过 16% 和 10% 的相对提升。消融显示,只有模仿轨迹不能解释完整收益;agentic RL、证据关联奖励和 OPSD 共同影响最终准确率与 insight 质量。

创新、局限与失败条件。 论文把“选证据”和“回答”放进同一个可回放环境,且训练/测试参与者分离,避免直接记忆问题—答案配对。局限是数据源、诊断标签和工具环境仍来自单一队列;RL 阶段重放预先计算的分割与报告,不能等同于真实临床系统中的工具延迟和噪声;benchmark 准确率也不等于临床效用、因果效果或安全部署。对影像偏差、外部医院迁移和医生责任边界仍需独立验证。

适合谁读、怎么读。 适合医学多模态、tool-use agent、主动证据获取和 agentic RL 研究者。建议按“benchmark 与数据构造—角色工作流—RSFT/RL/OPSD—按 strata 的结果与消融”顺序阅读;临床读者应把模型结果与真实诊疗验证严格分开。

3. AgBench:本地、云端与混合 agent 没有单一最优点

核心问题。 个人设备上的 agent 可以减少云 API 成本和敏感数据外传,但本地算力、并发和延迟可能降低任务成功率。AgBench 不把“本地”或“云端”预设成答案,而是同时测任务成功、完成时间、goodput、云 API 成本和数据暴露。

方法与基线。 基准包含 60 个任务、4 种部署架构、2 台个人设备和 4 个并发水平,共 32 个配置、1,920 次任务运行;本地实验使用 Qwen3.8-27B,云端实验使用固定的云模型与价格记录。成功由任务专用 verifier 判定,数据暴露按发送给云模型的敏感条目占初始敏感条目的比例计算;完整矩阵约需 440 device-hours,并用额外运行检查趋势稳定性。

作者报告的主要结果。 在 RTX 5090 上,本地单独运行在并发 1 时完成 35/60 个任务,并发 8 时降至 12/60;云端单独运行从 50/60 变为 48/60。并发 1 时两种混合架构完成 39/60 和 44/60,但高并发下优势不稳定。作者识别了 527 个敏感条目;本地-only 不产生云模型 API 费用和云暴露,但本地推理往往更慢。混合架构也不必然比纯云便宜:上下文转发、未缓存输入、协调调用和失败重试可能抵消本地分工节省。

创新、局限与失败条件。 价值在于把部署选择转化为多目标工程测量,并把并发、共享 KV cache、工具等待和敏感信息流纳入同一实验。局限是任务集只有 60 项、设备和模型组合有限,敏感条目识别还依赖人工标注与记录分析;一次完整矩阵约 440 device-hours,成本和结果会随本地模型、云价、缓存策略及任务 mix 改变。goodput 的提升也可能伴随任务正确率下降,不能只看吞吐。

适合谁读、怎么读。 适合端侧 AI、agent 部署、隐私工程和成本建模读者。建议先看任务 verifier 与五个指标的定义,再看四种架构在并发变化下的成功/失败分解,最后看成本和云数据暴露分析。

4. OSWorld-Science:科学软件中的“会操作”仍不等于产出可靠结果

  • 论文:OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software(arXiv:2609.39903)
  • 作者:Dingyuan Dai、Heli Qi、Lei Liu、Yinxi Li、Baiding Chen、Zijun Dou、Qingcheng Zeng、Qi Kang、Oliver Sun、Eric Wang、Bo Zhou、Haixin Wang、Yufan Du、Shi Bo、Ruihan Lin、Mengqi Yuan、Dunjie Lu、Steven Dillmann、Yiming Shi、Tina Su、Amy Xin、Minghao Liu、Xi Wang、Xu Huang、Ge Zhang、Pengyu Nie、Zhen Yang、Jie Tang、Juanzi Li、Weihao Xuan、Tianyu Liu
  • 来源与链接:arXiv · cs.AI · 摘要页 · PDF · 数据集
  • 证据状态:已核阅公开 PDF;结果是作者 benchmark 与运行记录,未做独立复现。

核心问题。 科学计算工作流要求 agent 理解专业界面、操作分子/影像/仿真对象,并提交可验证的图、数值或文件;普通桌面问答很难覆盖这些约束。OSWorld-Science 追问:当成功定义为“科学软件中生成正确 artifact”时,模型和 harness 到底能完成多少?

方法与基线。 数据集含 146 个任务、7 个科学领域和 14 种软件配置,测试 12 个 VLM。任务来自专家提议和人机协作设计,使用执行式 evaluator 检查分子结构、分割掩码、图表和数值结果,并允许部分得分;harness 记录 GUI/CLI 轨迹、token 与 API 成本。大多数任务有 100 步上限和 16k 回复限制,论文同时做推理强度、历史窗口和提示语言消融。

作者报告的主要结果。 Claude Fable 5.1 的平均任务分为 73.7%、每任务约 6.5 美元;GPT-6 Astra 为 57.4%/7.7 美元,GPT-5.6-sol 为 50.1%/2.79 美元。约 1,530 次公开运行中只有 402 次拿到 full credit(26.3%);多数失败没有可评分 artifact。历史窗口从 1 张截图增至 10 张时,Opus 5 的 QuPath 子集分数从 35.2% 升至 57.0%;把推理强度从 medium 提到 max 时分数由 44.1% 升至 59.7%,但每任务输出 token 约从 6k 增至 59k,且并非所有任务都受益。

创新、局限与失败条件。 论文把科学目标、软件状态和最终 artifact 连接起来,比“回答一个科学问题”更接近实际工作流。局限是各领域任务数量不均、部分商业软件轨迹不能完整公开、消融样本通常每格每任务只跑一次;artifact evaluator 也不能替代领域专家对科学结论的审查。API 成本、上下文窗口、界面分辨率和模型版本会强烈影响排序,benchmark 提升不等于可以无人监督地做研究。

适合谁读、怎么读。 适合 computer-use agent、科学 AI、GUI/CLI harness 和评测基础设施研究者。建议先读任务选择与 artifact evaluator,再看模型—成本前沿和失败轨迹,最后看历史窗口、推理强度及数据/代码发布说明。

5. RAC:高风险 agent 的权限不能由一个总分直接授予

核心问题。 benchmark、审计和 agent 协议通常说明性能、权限或修复方式,却没有规定“观察到什么证据后,agent 的权限应如何变化”。RAC 将这个缺口称为 assurance-transition gap,主张软指标只能帮助路由,失败或未知的硬门禁必须触发重试、切换、升级、延期或停止。

方法与基线。 Runtime Assurance Contract 绑定自治边界、组件资格、证据状态、权限转换、人工复核容量和 non-compensatory gates;论文给出证据记录、权限规则、五个不变量,并在临床、工业、司法情境做 failure probe。编码 agent 的确定性实验构造 280 个注入案例,比较 gate conjunction、score-only rule 和受限协议;另有 18 条手写轨迹和 24 个 prospective synthetic holdout episode。

作者报告的主要结果。 在公布的示例权重和阈值下,score-only rule 放过了 100 个 block-required 注入中的 80 个,以及 40 个 review-required 注入中的全部 40 个。事后调阈值可以在这组样本上匹配 conjunction,但这不是部署前可用的保证;在 24 个合成 holdout episode 的 72 次行动尝试中,两名盲评 LLM 给出相同标签,RAC 与独立实现的 full stateful baseline 均匹配这些标签。

创新、局限与失败条件。 贡献是把“是否还能继续行动”作为显式状态转换,而非把多个安全分数加权成一个授权分数。论文明确承认案例是合成的,五个不变量和规则没有在真实检测噪声、真实复核队列或跨领域部署中验证;score rule 在事后调参的结果也不能当作前瞻性能。RAC 的价值更像权限控制的设计约束,而不是新的安全检测器。

适合谁读、怎么读。 适合高风险 agent、runtime assurance、人工复核和安全治理工程师。建议先读 assurance-transition gap 与五个不变量,再看 gate failure transitions 和编码注入实验,最后读合成 holdout 与作者对部署外推的限制。

AI 论文

1. Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets(arXiv:2606.25760)

  • 作者:Divake Kumar、Sina Tayebati、Devashri Naik、Amanda Sofie Rios、Nilesh Ahuja、Omesh Tickoo、Ranganath Krishnan、Amit Ranjan Trivedi;来源:arXiv;分类:cs.LG、cs.AI、cs.CL、cs.CV。
  • 链接:摘要页 · PDF
  • 简介:重点关注第 1 节已详细展开。作者报告固定模型跨数据集的 UQ 排名迁移最高 Spearman ρ 为 0.969,而跨开源/闭源接口平均仅 +0.08;这支持在目标接口上重新校准,不支持直接迁移 UQ 选择。

2. AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC(arXiv:2609.39964)

  • 作者:Yijie Bian、Kai Zhang、Wei Guo、Zixin Wang、Shenghui Song、Jun Zhang、Khaled B. Letaief;来源:arXiv;分类:cs.AI、cs.MA。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:研究多模态集成感知与通信(ISAC)的仿真到现实迁移,提出 AIMS:场景构造 agent 生成地理对齐且同步的感知/无线记录,场景理解 agent 选择模态并配置 MoE 学习,结构化领域知识和验证反馈用于重规划。作者在 DeepSense6G 上报告车辆检测和波束预测优于所比较的仿真/融合基线,并在编排 benchmark 中报告计划正确性提升。摘要没有给出完整数字、基线配置、仿真—真实差异或端侧算力,不能据此判断真实无线部署收益。

3. From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning(arXiv:2609.39566)

  • 作者:Minye Shao、Chaohui Yu、Yixuan Wu、Fan Wang、Ling Shao、Yang Long;来源:arXiv;分类:cs.CV。
  • 链接:摘要页 · PDF · 代码
  • 简介:重点关注第 2 节已详细展开。作者报告的提升来自主动证据选择和 agentic 训练,但 UK Biobank 环境、预计算工具和诊断标签并不等于外部医院中的临床验证。

4. MASCRDM: Multi-Agent System for Compliance Risk Detection and Mitigation in Training Process of Large Language Models(arXiv:2609.39107)

  • 作者:Yan Zhang、Chuming Wei、Ruien Li、Yaoyao Peng、Wusheng Zhang、Guangwen Yang;来源:arXiv;分类:cs.AI。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:研究如何在 LLM 训练过程中而非只在输入/输出端发现合规风险。方法由合规法律专家参与设计规则、合规专用 LLM、组件拆解和知识图谱关键节点组成,多 agent 在训练期间给出风险告警和缓解建议。作者在歧视与偏见 benchmark 上报告合规性改善且语义性能保持在合理水平;摘要未提供模型规模、具体指标、训练开销、污染控制或跨法规体系验证。

5. Semantic Misalignment in Vision-Language Models under Perceptual Degradation(arXiv:2601.08355)

  • 作者:Guo Cheng、Huang Li;来源:arXiv;分类:cs.CV。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:论文在 Cityscapes 的语义分割模块上施加更贴近感知系统的受控退化,再观察多个对比式/生成式 VLM 的语言行为;提出 hallucination、关键目标遗漏和安全误判指标。作者报告传统分割指标只中等下降时,下游安全语义也可能严重失败,提示 pixel-level robustness 不能替代端到端安全评测;摘要没有给出各退化强度、基线和数值,尚不能判断失效阈值。

6. From Image Interpretation to Clinical Reasoning: Upstream Physician-Context-Aware Multimodal Learning with Causal Reinforcement Learning(arXiv:2609.38924)

  • 作者:Jialu Pi、Yanan Ma、Weijie Chen、Owen Crystal、Shubham Trivedi、Stephen Xie、Anna Silverman、Matthew Stib、Chadi Ayoub、Reza Arsanjani、Imon Banerjee;来源:arXiv;分类:cs.CV。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:研究把胸片与医生书写的病史结合,用于机会性 MACE 风险预测。方法包括解耦推理/风险预测的双 LLM、用于证据选择的双动作“因果 RL”和因果 token pruning;作者在内部队列、急诊队列和 MIMIC 上报告 AUROC 0.720、0.760、0.845,并称 GREEN 与专家偏好更高。这里的“因果”是模型训练框架名称,不等于临床因果效应识别;内部队列构成、时间切分、校准和临床决策阈值仍需全文核查。

7. Reasoning Externalization for Faithful Large Language Model Narratives of Stock Return Predictions(arXiv:2609.38869)

  • 作者:Sujung Kim、Seung Hwan Cho、Sangjin Park、Young-Min Kim;来源:arXiv;分类:cs.AI、cs.CE。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:以 XGBoost 的六个月时间 SHAP 序列和历史 regime analog 为证据,逐步向 Qwen3 提供原始数值、确定性描述和特征关系,并逐条用 provenance 证据核查叙述。作者报告 Qwen3-32B 的证据忠实度从 0.696 提升到 0.996,历史 analog 提升了人工感知的有用性但没有提升结构化自动忠实度。该结果是解释生成实验,不是样本外投资收益或可交易策略证明。

8. AgBench: Agentic AI Benchmarks for Personal AI Devices(arXiv:2609.38652)

  • 作者:Yizhou Han、Di Wu、Dhananjay Saikumar、Blesson Varghese;来源:arXiv;分类:cs.AI、cs.PF。
  • 链接:摘要页 · PDF · 开放材料
  • 简介:重点关注第 3 节已详细展开。作者用超过 162.07 million 条记录刻画本地/混合/云端权衡,但“最佳”取决于任务成功、goodput、成本和数据暴露的权重,不能简化成端云二选一。

9. SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents(arXiv:2609.35596)

  • 作者:Saswat Das、Parvati Viswanathan、Daniel Donnelly、Chang Huang、Sahar Abdelnabi、Ferdinando Fioretto;来源:arXiv;分类:cs.CR、cs.AI、cs.CL。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:SEABench 用 48 条纵向任务序列测试 agent 修改 controller instructions、memory protocol 和工具后是否产生内生失配;自适应轨迹发现配对不进化 agent,以支持失败归因。作者报告自我进化提高任务完成率,但也带来配对基线没有的安全失败,不同进化面和危害类型呈现不同模式;链式推理监控被报告为低误报缓解手段,但摘要没有说明监控在真实部署和不可见思维链中的可用性。

10. Video Understanding Reward Modeling: A Robust Benchmark and Performant Reward Models(arXiv:2605.07872)

  • 作者:Yuancheng Wei、Linli Yao、Lei Li、Haojie Zhang、Hao Zhou、Fandong Meng、Xu Sun;来源:arXiv;分类:cs.CV、cs.AI。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:论文发布含 2,100 对偏好、平均 1,143 token 推理轨迹的 VURB,并自动构造 VUP-35K 视频偏好数据,训练 VideoDRM 与 VideoGRM。作者在 VURB、VideoRewardBench 上报告 state-of-the-art,并称在 best-of-N 测试时扩展中带来收益;摘要没有给出具体分数、人工一致性、视频泄漏控制和训练成本,不能把“reward model 提升”直接视为视频理解能力提升。

11. WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents(arXiv:2609.40325)

  • 作者:Ziyan Jiang、Jingbo Yang、Jiabao Ji、Yujian Liu、Qiucheng Wu、Tommi Jaakkola、Yang Zhang、Shiyu Chang;来源:arXiv;分类:cs.AI。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:WorldAuditBench 包含 Unreal Engine 5/Three.js 的 13 个环境、213 个异常任务和 5 类异常,要求 agent 一边探索 3D 世界一边判断漂浮物、可穿墙或场景不一致。作者固定探索预算、比较 VLA 探索后 VLM 识别与端到端 VLM agent,报告成功率 6.6%–42.3%,人类为 83.4%。它揭示行动采证与视觉推理耦合仍是瓶颈,但任务覆盖、探索预算和人类标注协议限制外推。

12. OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software(arXiv:2609.39903)

  • 作者:Dingyuan Dai、Heli Qi、Lei Liu、Yinxi Li、Baiding Chen、Zijun Dou、Qingcheng Zeng、Qi Kang、Oliver Sun、Eric Wang、Bo Zhou、Haixin Wang、Yufan Du、Shi Bo、Ruihan Lin、Mengqi Yuan、Dunjie Lu、Steven Dillmann、Yiming Shi、Tina Su、Amy Xin、Minghao Liu、Xi Wang、Xu Huang、Ge Zhang、Pengyu Nie、Zhen Yang、Jie Tang、Juanzi Li、Weihao Xuan、Tianyu Liu;来源:arXiv;分类:cs.AI。
  • 链接:摘要页 · PDF · 数据集
  • 简介:重点关注第 4 节已详细展开。任务级 artifact evaluator 是该工作区别于普通 GUI 问答的关键;论文报告强模型在化学、物理、医学软件上仍有明显失败,需结合领域专家复核。

13. Trust Is Not a Score: Runtime Assurance Contracts for High-Risk AI Agents(arXiv:2609.39717)

  • 作者:Serhii Zabolotnii;来源:arXiv;分类:cs.AI、cs.CY、cs.SE。
  • 链接:摘要页 · PDF
  • 简介:重点关注第 5 节已详细展开。RAC 的硬门禁与 fail-closed 转换适合做系统权限层约束,但论文自己的结论是合成案例验证了机制而非部署安全。

14. ShieldCLIP: Selective Safety Alignment for Harmful Content Mitigation in Multimodal Foundation Models(arXiv:2609.39688)

  • 作者:Tobia Poppi、Silvia Cappelletti、Samuele Poppi、Marcella Cornia、Lorenzo Baraldi、Diego Garcia-Olano、Rita Cucchiara;来源:arXiv;分类:cs.CV、cs.AI、cs.CL、cs.MM。
  • 链接:摘要页 · PDF · 项目页
  • 证据状态:仅依据摘要。
  • 简介:ShieldCLIP 不再把“生成样本”整体标成不安全,而是为每个模态保留独立安全状态;ViSUv2 含 195k 个 quadruplet、578 个概念和 28 类。四路目标分别锚定安全内容、重定向不安全模态、只更新混合对中的不安全分支,并约束双不安全内容的一致性。作者在跨模态检索、Stable Diffusion v1.4/SDXL 和 LLaVA 上报告降低有害输出且保留 embedding utility;控制访问的数据、真实安全分布和闭源评测仍需核查。

15. NodeGround: A Node Classification Benchmark in the Graph Foundation Model Era(arXiv:2609.39673)

  • 作者:Jinmo Lee、Dooho Lee、Minho Jeong、Jaemin Yoo;来源:arXiv;分类:cs.LG。
  • 链接:摘要页 · PDF · 代码
  • 证据状态:仅依据摘要。
  • 简介:NodeGround 在 51 个数据集、6 个图 foundation model 与 15 个有监督方法上统一标签可用性、验证集调参、预测指标和工作流成本。作者报告 carefully tuned GNN 整体更强;GraphPFN 在标签较多时 Elo 第三,GVT/GraphPFN 的效率优势在加入中等调参预算后部分消失。它提醒读者同时比较默认模型和充分调参模型,不能把预训练复用自动等同于更低总成本。

16. Network-based Spatial Context Retrieval for Open-weight LLMs: A Faithfulness Benchmark for Grounded Geographic Reasoning(arXiv:2609.39437)

  • 作者:Joan Perez;来源:arXiv;分类:cs.LG。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:论文用 OpenStreetMap、GHS-POP 和步行街网构造空间 catchment,把模型陈述标成来自 brief 还是参数记忆,并加入 brief 可反驳的 planted false premise;评测 16 个开源模型配置、Qwen/Gemma/Llama 三个家族、4 个规模档位、3 座城市和 10 个随机种子。作者报告抗 false premise 的差异更像家族/代际差异而非模型规模,读 brief 的能力与世界知识正确性部分独立;开放数据和 claim-level 标签提升可复现性,但空间指标、城市选择和语言覆盖仍限制泛化。

17. MADBench: Benchmarking the Security of Multi-Agent Debate(arXiv:2609.39146)

  • 作者:Yuwan Liu、Jiaming Zhang、Yue Huang、Sisi Duan;来源:arXiv;分类:cs.AI。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:MADBench 以 356 个 source task、3,958 个测试案例覆盖 6 类攻击,研究辩论纠错是否也会传播恶意错误。作者报告 MAD 在问答准确率攻击上有时比单 agent 更能缓解,但在问答和 workspace 任务中会放大未经授权的读写;即使 5 个 agent 中 3 个串谋,也只在无攻击时答对的任务中有 28.30% 被改成错答,诚实 agent 从对变错为 3.26%。结果依赖攻击预算、工具权限和辩论协议,不能概括为“多 agent 更安全”。

18. MM-FinEval: A Multi-Task Multimodal Benchmark for Real-World Financial Forecasting(arXiv:2609.38523)

  • 作者:Dong Shu、Yanguang Liu、Huopu Zhang、Saisai Hu、Haiyan Zhao、Hekun Huang、Mengnan Du;来源:arXiv;分类:cs.LG、cs.AI。
  • 链接:摘要页 · PDF
  • 证据状态:仅依据摘要。
  • 简介:MM-FinEval 收集 2019–2022 年 2,045 场标普 500 财报电话会,保留逐词文本、演示文稿和完整音频,设计 12 个金融任务并比较 19 个文本/图像/音频/任意到任意模型。作者报告小型三模态模型表现可与只看两种模态的大型专有模型竞争,说明音频、文本和视觉可能提供互补信号;摘要没有说明标签生成、时间泄漏、基线提示、预测窗口和样本外经济价值,不能把 benchmark 分数当作投资能力。

每日 AI 论文简报|2026 年 10 月 2 日
https://www.polarishaw.top/2026/10/02/daily-ai-papers-2026-10-02/
作者
Polaris
发布于
2026年10月2日
许可协议