每日 AI 论文简报|2026 年 10 月 6 日
重点关注
本期从 18 篇 AI 候选中选出 5 篇重点阅读。重点论文已打开 arXiv 摘要页和公开 PDF;下述数字与结论均是论文报告,未做独立复现。阅读 benchmark 时要区分基准分数与真实能力,并检查比较基线、公平性、数据污染、可复现性和算力成本。
1. EvoRiskBench:把工作区 Agent 的运行时安全风险做成可验证的攻击路径
- 论文:EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents
- 作者/来源:Shiyi Kuang、Xuemei Luo、Kun Liu、Junhai Li、Rui Tian、Feng Shi、Bo Shen、Nianyu Li、Dehui Li、Ping Chen;arXiv:2610.03153
- 分类:cs.CR、cs.AI
- 证据状态:已核阅摘要与 PDF;结果是作者报告,公开数据与评测平台仍待完成安全和可复现性检查后发布。
这篇论文问的是:当 Agent 能在有状态的工作区中读写文件、调用网络和工具时,间接提示注入是否真的会产生可验证的技术后果。作者提出 EP–Path–EF 框架,把九类风险入口(如会话记忆、知识检索、命令执行、MCP 服务和技能调用)连接到五类效果(信息泄露、未授权访问、数据篡改、系统破坏、资源耗尽),并用自动化流程生成和筛选攻击案例。每次运行在隔离的 Windows 进程环境中执行,攻击是否成功要由运行时事件、轨迹和最终环境状态共同核验;仅有文本上的“服从恶意指令”不算成功。
实验冻结了 450 个、覆盖六个场景的对抗任务,比较 3 个模型与 3 个 harness 的 9 个完整 Model×Harness 配置,共 4,050 次攻击执行。作者报告总体攻击成功率(ASR)为 37.46%,合法任务成功率(TSR)为 60.44%;DeepSeek-V4-Pro-0813 配 Codex 的 ASR 最高,为 68.44%。按模型聚合的 ASR 为 DeepSeek 58.81%、GPT-5.6 Sol 49.11%、Claude Opus 5 4.44%,模型间跨度 54.37 个百分点,而 harness 聚合跨度为 5.41 个百分点;但 harness 的影响依赖具体模型。低总体 ASR 也可能掩盖高风险组合:Claude Opus 5 的平均 ASR 虽低,其网络访问—系统破坏组合仍达到 56.67%,某些入口—效果单元达到 100%。20 人分类研究在 11 个代表场景上得到入口 Fleiss κ=0.904、效果 κ=0.723。
创新点是把“模型是否安全”改写为完整执行系统的、可复核的运行时结果,并同时报告安全风险与任务效用;这比只看最终回答或单个模型更接近实际 Agent 部署。局限也决定了证据边界:威胁模型主要是间接提示注入,工具和外部服务是沙箱近似,不覆盖生产工作区、长期运行和更多攻击面;伤害分数还依赖 AI judge。它适合 Agent 安全、工具权限和评测基础设施研究者。建议先读第 3–4 节、图 2–3 和表 4,再看附录中的风险验证与复现设置。
2. AlgoREval:代码生成中“回忆算法”与“合成算法”不是一回事
- 论文:Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval
- 作者/来源:Nickil Maveli、Antonio Vergari、Shay B. Cohen;arXiv:2610.02438
- 分类:cs.LG、cs.AI、cs.CL、cs.PL
- 代码与数据:GitHub
- 证据状态:已核阅摘要与 PDF;性能是作者在零样本和受控微调设置下的报告,不能替代对模型训练数据的污染审计。
论文把经典算法的代码生成拆出一个容易被总分掩盖的能力:模型能否从参数记忆中恢复指定算法,而不是临时发明一个新算法。AlgoREval 包含 599 道题、77 个经典算法、14 个领域、7 种编程语言和 4 种图输入表示;作者以 15 个 7B–34B 模型做零样本评测,严格限制为标准库和可执行输出,并区分语言与输入表示造成的接口变化。
零样本总体 Pass@1 为 41.2%,但与参数规模没有简单对应关系:表中 gpt-oss-20B 为 88.0%,GPT-4.1-mini 为 80.8%,GPT-4o-mini 为 66.3%,代码专用模型的语言覆盖更不均匀。相同算法只更换图表示时,准确率可下降超过 10 个百分点。加入语言无关伪代码后平均为 40.6%,加入按语言检索的 GitHub 代码片段后为 40.9%,整体没有提升;不过零样本低于 25% 的困难子集分别从 12.9% 提升到 15.8% 和 16.9%。在 gpt-oss-20B 的受控实验中,SFT 的总体提升约 3.9 个百分点,GRPO 的总体提升约 2.0 个百分点,但 GRPO 在个别语言上的增益更大。作者还报告正确代码之间几乎没有逐字复现,80% 的比较对共享底层算法结构,支持“参数化代码检索”作为独立测量对象的解释。
方法价值在于让基线公平地暴露“语言/表示接口”与算法能力,而不是只给一个混合排行榜;工程上也说明能编译并不等于算法实现可靠。局限包括题目覆盖仍受 77 个算法和 7 种语言限制,低资源语言中的失败可能混合了检索与编译问题;没有训练语料就无法仅凭外部行为完全分离回忆与合成,也没有把真实软件仓库任务纳入主评测。适合代码模型、代码检索和训练后研究者。建议看第 3、5、6 节、表 2–4 和附录的污染/运行设置。
3. XiangqiBench:找到第一步,不等于在闭环对抗中赢下整局
- 论文:Finding the Move Is Not Winning the Game: XiangqiBench for Closed-Loop Evaluation of LLM Agents
- 作者/来源:Yekun Chai、Qiwei Peng、Haoyi Xiong;arXiv:2610.02425
- 分类:cs.CL
- 代码:GitHub
- 证据状态:已核阅摘要与 PDF;结果来自作者的中国象棋残局 benchmark,不应外推为一般 Agent 规划能力。
研究问题是静态“下一步预测”能否代表 Agent 在对手反应下持续执行计划。作者从 119 个由引擎搜索支持的强制将死残局出发,让 12 个前沿模型通过 REPL 与引擎防守方对弈;Sighted 协议提供棋盘刷新、合法着法和模拟沙盒,Restricted observation 隐去这些状态查询,只保留有限历史。论文记录了 8,568 条多轮轨迹,并把真实终局作为唯一成功标准,同时保留中间的首步采用、模拟和失败记录。
三个差距很有解释力。Sighted 试验中,模型走出引擎参考首步的比例为 26.1%,但这些试验最终获胜的比例只有 13.9%;领跑的 Gemini 3.1 Pro 达到 pass@3=38.7%,但三次都赢的 pass^3 只有 5.9%(119 个残局中仅 7 个)。其 Sighted 单次 pass@1 为 22.1%,限制观察后为 14.0%;全体模型平均 pass@1 从 4.15% 降到 1.82%,终端非法动作或无命令失败从 2.7% 升到 27.6%。模拟调用也不是可靠的对手模型:6,749 次完整接受的模拟中 32.3% 在非法着法处停止;模型采用模拟首步的 1,677 个案例中,49.3% 的真实防守回应不同于模型假设的回应。去掉模拟后,作者在已解出的子集上观察到 Gemini 的 pass@1 从 48.3% 降到 33.3%,GPT-5.5 从 39.7% 降到 25.4%,说明模拟虽不完整仍有帮助。
创新是把“覆盖率”和“可靠转换”拆开,并用可执行规则和引擎回应避免只奖励看似正确的第一步。局限包括残局领域与一般工作流差异很大,残局由有界搜索支持而非完整形式化证明,Restricted 协议同时改变了提示和反馈,三次试验也不足以外推更大预算。适合 Agent 评测、工具调用和对抗规划研究者。建议先看第 3–6 节、图 3–9,再核对附录的观测消融与失败分类。
4. BenchGuard:先审计 benchmark,再相信 Agent 排名
- 论文:Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks
- 作者/来源:Xinming Tu、Tianze Wang、Yingzhou Lu、Kexin Huang、Yuanhao Qu、Sara Mostafavi;arXiv:2604.24955v2,COLM 2026
- 分类:cs.CL、cs.AI、cs.SE
- 代码:GitHub
- 证据状态:已核阅摘要与 PDF;“发现问题”部分有作者确认或专家修订作为参照,但仍需要人工审计,不能直接视为自动验证真值。
这篇论文关注一个常被忽略的基线问题:Agent benchmark 的说明、环境、参考解和评测逻辑彼此不一致时,所谓 Agent 失败可能只是 benchmark 失败。BenchGuard 用结构化协议让多个前沿模型交叉审计四类制品,并把错误归入 4 个大类、14 个子类;可选地把 Agent 程序或执行轨迹作为诊断证据。它比较的不是“哪个模型分数更高”,而是自动审计能否找出会改变测量结论的缺陷。
在 ScienceAgentBench 的 102 个任务中,系统发现 12 个缺陷,之后全部得到原作者确认,其中包括使任务不可解、指标与实现不匹配以及正确答案会被评测逻辑拒绝的致命问题。对 BIXBench Verified-50 的 17 个专家修订任务拆成 24 个原子问题后,五模型集合精确发现 20/24(83.3%),计入部分匹配为 23/24(95.8%);最佳单模型精确匹配为 13/24(54.2%)。五模型审计 50 个任务成本低于 15 美元、耗时低于 12 分钟。对 ProgramBench 的 200 个已完成任务还发现 114 个可能问题,但维护者只确认了其中一部分,论文将其列为初步结果。
价值在于把数据泄漏、代码错误、隐藏样本过滤和单一参考实现偏见纳入“评测前置条件”,也体现出不同模型的互补审计能力。限制是发现仍需专家复核,置信度和严重度标签没有充分校准,BIXBench 的“对齐率”是相对专家修订的人工参照而非真正精确率;网页、操作系统交互和仓库级修复也未覆盖。适合 benchmark 作者、评测平台和 Agent 工程团队。建议先看第 3–5 节、表 2–3,再看附录的错误分类和执行级审计。
5. 消费者健康 AI 的分诊失败,有多少是测量格式造成的
- 论文:Evaluation format, not model capability, drives measured triage failure in the assessment of consumer health AI
- 作者/来源:David Fraile Navarro、Jialei Sheng、Farah Magrabi、Enrico Coiera;arXiv:2603.11413v4
- 分类:cs.HC、cs.AI
- 代码与材料:GitHub
- 证据状态:已核阅摘要与 PDF;这是 API 模型上的格式敏感性研究,不是对 ChatGPT Health 产品或真实患者结局的临床验证。
论文质疑一个具体的评测假设:把消费者健康聊天机器人强制成只能输出 A/B/C/D、不能追问、不能使用外部知识的考试,测到的究竟是模型能力还是测量工具。作者做了两部分实验。第一部分用 17 个场景和 5 个前沿模型比较约束式模板与自然患者式消息;第二部分使用原研究公开的 60 个 vignette,让 6 个模型在四种匹配格式下回答,并对自然语言重写和 LLM adjudicator 做临床验证/盲审。
第一部分自然患者式输入平均比约束模板高 6.4 个百分点(70.1% 对 63.6%,p=0.015);但第二部分方向反转:信息保持的自由文本为 78.7%,原结构化模板为 81.8%(p=0.020),只移除答案脚手架后为 80.6% 对 81.4%(p=0.81),自然患者式输入再强制字母答案则为 84.4%,高于原模板的 81.8%(p=0.023)和自然自由文本的 78.7%(p=0.00014)。定义原研究急症率的四个 vignette 中,低估急症率分别为 16.7%、50.0%、35.4% 和 20.8%;自由文本下的 48 个“低估”全是被量表判为 C 的当天就医建议,其中 60% 还要求患者补充或检查信息。两个 LLM adjudicator 的一致率为 94.7%,但临床审阅显示“模型字面建议是否安全”和“是否符合 benchmark 的金标准”并不总是同一问题。
这篇论文的价值是把基线公平性推进到输入、输出和裁判映射的敏感性分析;不能把结果简化为“自然语言一定更安全”或“原研究一定错误”。局限包括 API 模型会漂移、自然语言场景仍是单轮自包含 vignette,第一部分同时改变了系统提示和输入格式,临床标准本身也存在裁判分歧;没有真实患者前瞻性结局。适合医疗 AI 评测与安全治理研究者。建议读第 2–5 节、表 1–3 和附录的临床审阅方法。
AI 论文
1. EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents(arXiv:2610.03153)
- 重点论文:详细分析见上文“重点关注”第 1 篇。
- 作者/来源:Shiyi Kuang、Xuemei Luo、Kun Liu、Junhai Li、Rui Tian、Feng Shi、Bo Shen、Nianyu Li、Dehui Li、Ping Chen;来源为 arXiv;分类:cs.CR、cs.AI
- 相关链接:摘要页 · PDF
2. Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval(arXiv:2610.02438)
- 重点论文:详细分析见上文“重点关注”第 2 篇。
- 作者/来源:Nickil Maveli、Antonio Vergari、Shay B. Cohen;来源为 arXiv;分类:cs.LG、cs.AI、cs.CL、cs.PL
- 相关链接:摘要页 · PDF · 代码与数据
3. Multi-Agent AI as a Nested Principal-Agent Problem in Private Wealth Management: Mandate Representation and Evidence Control in Switzerland, Germany and Austria(arXiv:2610.02863)
- 双主题索引:本论文同时属于金融主题,完整重点分析见金融简报“重点关注”第 1 篇;AI 简报在此保留交叉主题简介,避免重复展开。
- 作者/来源:Walter Kurz、Reinhard Magg、Florian Kollberg、Wojtek Stricker、Stefan Marx、Frank Reinhardt、Velimir Dedić;arXiv:2610.02863;论文 PDF 标注 Swissi AI Journal 2026 与 DOI 10.5281/zenodo.23095194;分类:q-fin.GN、cs.MA
- 证据状态:仅依据摘要(AI 侧作交叉索引)。
论文把私人财富管理中的客户—经理—AI 委托关系写成嵌套 principal–agent 问题,用客户与经理的分开目标、法律/授权约束、证据充分性和服务底线共同决定可行的投资组合—工作流对。作者在四类构造委托和八个决策状态中报告,遗漏客户负债会产生两次流动性违规,遗漏经理条款会产生两次容量违规,权重误译会改变四个本来可行的选择;后续 2022 年汇率和收益率路径下,选定服务的客户结果低于参考服务。这里是构造场景和受控仿真,不是客户数据上的因果识别,也不是可交易收益证明。
4. Finding the Move Is Not Winning the Game: XiangqiBench for Closed-Loop Evaluation of LLM Agents(arXiv:2610.02425)
- 重点论文:详细分析见上文“重点关注”第 3 篇。
- 作者/来源:Yekun Chai、Qiwei Peng、Haoyi Xiong;来源为 arXiv;分类:cs.CL
- 相关链接:摘要页 · PDF · 代码
5. Reliability Stress Tests and Decision-Time Routing for Chest X-ray Vision-Language Models(arXiv:2610.02270)
- 作者/来源:Xinye Yang、Zhusi Zhong、Scott Collins、Grayson Baird、Xuyu Wang、Zhicheng Jiao;来源为 arXiv;分类:eess.IV、cs.CV
- 证据状态:仅依据摘要。
论文在一个私有报告配对数据集和经过整理的 MIMIC 子集上,对 CheXagent、MedGemma-4B、MedGemma-27B 的三种提示和单模型/多 Agent 两类流程进行 36 种配置的可靠性压力测试。作者报告,单看 exact-match 会高估倾向于默认“正常”的保守模型,多 Agent 推理对不同模型可能有帮助也可能有害;据此提出只在决策时选择性升级到多 Agent 的路由,以改善成本—质量权衡。摘要没有给出各配置的完整数字、数据切分、污染审计和临床前瞻性验证,因此不能把它解释成临床诊断性能结论。
6. Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks(arXiv:2604.24955)
- 重点论文:详细分析见上文“重点关注”第 4 篇。
- 作者/来源:Xinming Tu、Tianze Wang、Yingzhou Lu、Kexin Huang、Yuanhao Qu、Sara Mostafavi;来源为 arXiv/COLM 2026;分类:cs.CL、cs.AI、cs.SE
- 相关链接:摘要页 · PDF · 代码
7. Can AI Understand the Language of Origami?(arXiv:2603.13856)
- 作者/来源:Naaisha Agarwal、Yihan Wu、Xin Guan、Ayaan Garg、Yikuan Hu、Mohan Li、Vincenzo Collura、Wang-Zhou Dai、Yao-Xiang Ding、Emanuele Sansone;来源为 arXiv;分类:cs.LG、cs.CV
- 证据状态:仅依据摘要。
OrigamiBench 把折纸作为视觉感知、几何/物理约束和序列规划的综合测试床,用物理含义明确的折叠动作语言评估视觉语言模型对生成机制的理解。作者报告,单纯扩大模型规模不能稳定提高物理变换推理,模型仍难以把视觉观察与程序化信息对齐。研究价值在于把“认出折痕”与“理解动作会造成什么”分开;摘要没有给出完整模型、基线数字、数据规模和数据污染检查,暂不能判断改进是否可复现或是否迁移到真实机器人。
8. Evaluation format, not model capability, drives measured triage failure in the assessment of consumer health AI(arXiv:2603.11413)
- 重点论文:详细分析见上文“重点关注”第 5 篇。
- 作者/来源:David Fraile Navarro、Jialei Sheng、Farah Magrabi、Enrico Coiera;来源为 arXiv;分类:cs.HC、cs.AI
- 相关链接:摘要页 · PDF · 代码与材料
9. Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning(arXiv:2603.11351)
- 作者/来源:Hong Lu、Pierrick Lorang、Timothy R. Duggan、Jivko Sinapov、Matthias Scheutz;来源为 arXiv;分类:cs.RO、cs.AI
- 证据状态:仅依据摘要。
论文处理开放世界机器人遇到新物体、导致符号规划器缺少操作符的情况:LLM 识别缺失操作符并生成计划,符号规划器负责结构化计划,LLM 再写出奖励函数帮助强化学习学习新控制策略。作者报告该混合架构在连续机器人领域的操作符发现和学习上优于现有方法。摘要未说明完整机器人环境、基线实现、训练算力、真实硬件验证和失败条件,因此“优于”只能视为作者在其协议中的报告。
10. LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning under Benign and Adversarial Scenarios(arXiv:2602.03255)
- 作者/来源:Tianyu Chen、Chujia Hu、Dongrui Liu、Xia Hu、Wenjie Wang;来源为 arXiv;分类:cs.AI
- 证据状态:仅依据摘要。
LPS-Bench 面向 MCP 风格工具工作流中的长程规划安全,包含 65 个场景、7 个任务领域、9 类规划风险和 570 个案例;模板化多 Agent 流程生成用户指令、模拟工具包与案例标准,再经人工审核。作者让 13 个 LLM Agent 在良性与对抗引导下执行,报告两种设置都存在持续安全失败,提示干预的收益依赖模型。由于案例和工具环境主要是生成/模拟的,LLM evaluator 也承担评分,摘要没有给出各模型分数、人工一致性和真实工具部署结果,不能把它当成现实安全率。
11. Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching(arXiv:2509.20810)
- 作者/来源:Songze Li、Zhiqiang Liu、Zhengke Gui、Huajun Chen、Wen Zhang;来源为 arXiv;分类:cs.CL
- 证据状态:仅依据摘要。
Enrich-on-Graph 认为知识图谱与自然语言问题的关注点和结构不一致,是 KGQA 幻觉和事实错误的来源之一;方法用 LLM 先丰富图谱,再抽取与问题对齐的证据,并提出三个图质量指标。作者在两个 KGQA benchmark 上报告生成高质量图谱并达到当时的 state of the art,同时强调可扩展性和较低计算成本。摘要没有展开基线、切分、训练数据污染和各数据集的增益,不能把 SOTA 视作跨领域可靠性结论。
12. BioMol-MQA: A Multi-Modal Question Answering Dataset For LLM Reasoning Over Bio-Molecular Interactions(arXiv:2506.05766)
- 作者/来源:Saptarshi Sengupta、Shuhua Yang、Paul Kwong Yu、Fali Wang、Suhang Wang;来源为 arXiv;分类:cs.CL
- 证据状态:仅依据摘要。
BioMol-MQA 面向多药联用问题,构建同时含文本、临床知识图谱和分子结构的多模态知识图谱,并设计需要检索、组合和推理的问答数据。作者报告现有 LLM 在这些问题上表现困难,在提供必要背景数据后才明显改善,支持更强多模态 RAG 的需求。摘要没有给出数据规模、模型基线、检索消融、人工标注和泄漏筛查;“需要 RAG”是作者根据 benchmark 行为提出的解释,不是对真实医疗系统的验证。
13. ReFract: Benchmarking Perspective Awareness in Language Model Agents with Text World Models(arXiv:2610.03356)
- 作者/来源:Hainiu Xu、Vítor N. Lourenço、Mohnish Dubey、Yunfei Bai、Yulan He、Caroline Catmur、Aline Paes、Marco Caserta、Akash Chandrayan、Luca D’Angelo;来源为 arXiv;分类:cs.AI
- 证据状态:仅依据摘要。
ReFract 研究 Agent 能否根据用户角色调整可提供的信息和可执行工具,而不是对同一个问题给所有人同样的动作。作者以领域支持对话为基础构造 150 个专家验证条目和文本世界模型;摘要报告当前最强模型最多解决 69% 的任务,超过一半轨迹包含违反角色权限的动作尝试。关注价值在于把“为谁行动”独立成评测轴;但模拟文本世界、条目规模和模型/工具设置有限,摘要没有给出详细基线、专家一致性和真实设备失败成本。
14. PaMIR: Open Benchmark of Public Credit-Default Datasets(arXiv:2610.03259)
- 作者/来源:Mikhail Liashkov、Ilyas Varshavskiy、Shuhratjon Khalilbekov、Azizjon Azimi、Bonu Boboeva;来源为 arXiv;分类:cs.LG
- 证据状态:仅依据摘要。
PaMIR 发布一个面向“标签稀缺且延迟到达”的信用违约预测 benchmark,按固定来源快照重建 19 个公开数据集,覆盖 9 个国家、约 124 万笔贷款、企业和信用卡账户,并用统一且经过泄漏审计的流程处理。它同时提供重复 i.i.d. 切分、按申请到达而标签延迟的流式评估、按标签预算报告 AUC,以及不让生成器看到留出数据的合成数据训练 harness。摘要说明的是 release 0.4.0 的数据与协议,尚未给出模型排行榜和外部样本表现,因此不能把数据集发布理解为信用风控效果证明。
15. COSMI: COmpositional Synthesis of Multi-object Interactions(arXiv:2610.03252)
- 作者/来源:Daniel Eskandar、Ilya A. Petrov、Gerard Pons-Moll;来源为 arXiv;分类:cs.CV
- 证据状态:仅依据摘要。
COSMI 利用多物体交互的局部性,把单物体捕捉片段进行接触一致、身体迁移、语义和几何筛选后组合,缓解多物体数据采集的组合爆炸。作者报告 COSMI 数据集包含 222,000 条序列、275 小时、最多五个物体,规模约为当时最大多物体捕捉集的 30 倍;相应的文本到交互扩散模型在未见物体和未见交互组合上,在文本对齐与接触准确率上超过基线。摘要没有给出具体差值、人工质量审查、组合伪影和训练算力,项目代码/数据也标为后续发布。
16. Investigating the Role of Reasoning-Language Alignment in Monolingual Retrieval-Augmented Generation(arXiv:2610.03136)
- 作者/来源:Oliver Hauck、Mario Sanz-Guerrero、Katharina von der Wense;来源为 arXiv;分类:cs.CL
- 证据状态:仅依据摘要。
论文构建全德语的 RAG 问答测试床,知识来自桌游《The Dark Eye》的德语资料,迫使模型依赖检索而非记忆;实验改变 Agent 的强制推理语言。作者报告让模型用德语处理问题和检索文档优于强制法语,即使模型在法语 benchmark 上更高,优势随检索上下文更丰富、更结构化而扩大;但强制德语仍只达到原生、不受限英语推理的水平。研究提示语言对齐影响证据整合,但虚构领域、单一语言/模型设置和摘要缺少具体指标,不能直接外推到医疗或企业多语种 RAG。
17. Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning(arXiv:2610.03099)
- 作者/来源:Jinghan Zhao、Yiman Hu、Liang Wu、Jian Xu、Bo Zheng;来源为 arXiv;分类:cs.CV、cs.AI
- 证据状态:仅依据摘要。
AdsCVR 包含 2,483 个电商视频和 6,110 个问答,测试跨视频比较中的六类推理;AdSeek 用 Agent 动态选择视觉和音频工具,并用离线轨迹纠正把强化学习中的遗漏证据转成监督信号。作者报告 AdSeek 在测试集达到 74.30%,比 Qwen3-VL-8B-Instruct 高 27.90 个百分点,并在开放域 CrossVid 上泛化。摘要没有展示完整模型/成本、视频切分、数据污染和人工评审细节,也没有真实电商决策收益,性能应视为作者在 benchmark 上的报告。
18. MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification(arXiv:2610.03056)
- 作者/来源:Donghyun Lee、Taehoon Lee、Geonhee Ahn、Jieun Kim、Jihyun Park、Suyeon Cho、Yoona Kim、Chaerim Shin、Hoi Ri Moon、Jonggeol Na、Sukho Hong、Jihwan Oh、Soo Kyung Kim;来源为 arXiv;分类:cs.AI、cs.CE
- 证据状态:仅依据摘要。
MOF-VERIFY 针对金属有机框架材料假设验证中“结构标识不一致、合成条件分散、证据不足且有些问题需要计算”的组合难点,设计结构 grounding、合成条件核验、证据充分性核验和 MLIP 计算核验四类任务。T-MOF-1–3 比较闭卷、带检索和 oracle evidence,T-MOF-4 单独测试计算核验;作者报告 failure-aware harness 在多个 backbone 上优于直接推理和普通检索基线。摘要没有给出各任务的数字、算力和人工/实验室验证,不能把文献核验提升解释成材料实验成功。
- 相关链接:摘要页 · PDF · benchmark 代码