每日 AI 论文简报|2026 年 10 月 7 日
重点关注
本期从 18 篇 AI 候选中选出 6 篇重点阅读。重点论文已打开 arXiv 摘要页和公开 PDF;数字与结论均是作者报告,未做独立复现。阅读 benchmark 时应同时检查基线公平性、数据污染、可复现性与算力成本。
1. ANT:从网络流量审计 Agent 的风险、场景与行为原语
- 论文:ANT: A Multi-Granularity Network Traffic Dataset and Benchmark for Agents Behavior Auditing
- 作者/来源:Fan Li、Xiangyu Gao、Zixuan Liu、Tong Li、Chuanpu Fu、Ziqiang Wang、Ke Xu;arXiv:2610.06514
- 分类:cs.AI、cs.LG
- 代码与数据:匿名仓库
- 证据状态:已核阅摘要与 PDF;结果是作者在受控环境中的报告,匿名仓库和数据仍需独立复现与隐私审计。
这篇论文问的是:不读取用户私有内容时,仅凭组织网络里的流量,能否审计 LLM Agent 做了什么。ANT 收集 3,114 个执行 episode,覆盖 20 个任务、5 个场景、276,417 条双向流和 40,049 个行为原语片段,并把标注组织成风险、场景和行为原语三个粒度;作者比较 13 个流量分析基线。
实验使用固定训练/测试划分、隐藏 IP 后的包头、方向、时序和长度特征。测试集包括 209 个 episode(189 个良性、20 个恶意)及 2,101 个原语片段。作者报告已有方法在总体风险识别上看似准确,但多种方法的恶意召回率低于 50%,AWF 和 FlowLens 的恶意召回率分别只有 0.15 和 0.20;恶意代码生成/沙箱规避等行为在若干基线中召回为 0。场景识别准确率约为 0.431–0.727,模型调用信号使平均场景准确率提高 5.56 个百分点;原语分类准确率约为 0.355–0.462,频繁的前十类占 72.44% 片段,准确率却达到 91.34%–96.09%。
创新是把 Agent 的网络可观测性拆成可审计的多粒度标签,而不是把流量分类成一个笼统的“恶意/正常”。失败条件也很明确:恶意工作流若模仿良性任务,或两个场景产生相近的流量,识别会明显变难;稀有、语义相近的行为原语也不稳。数据采集成本约 2,176.50 美元、流量约 104.07GB,实验使用 5 张 A100 80GB,控制环境与标注过程都限制了外部有效性。它适合 Agent 安全、网络取证和评测基础设施研究者。建议先读第 3–5 节、表 2–6,再看附录的原语定义和隐私讨论。
2. EgoExo-Next:视觉语言模型能否预测下一状态,而不只是认出当前帧
- 论文:EgoExo-Next: Benchmarking Vision-Language Models on Visual-Option Next-State and Cross-View Reasoning
- 作者/来源:Yutong Li、Molin Wang、Xiaotong Li、Yanyan Fang、Daoguo Dong、Ziyi Ye;arXiv:2610.04506
- 分类:cs.CV
- 数据:Hugging Face 数据集
- 证据状态:已核阅摘要与 PDF;这是作者构建的四选一、零样本评测,不能直接外推到真实机器人控制或长期视频理解。
研究问题是:模型能否根据自我视角和外部视角的视频,预测“接下来会发生什么”,并把两个视角对齐。EgoExo-Next 从 EPIC-KITCHENS-100、Ego4D、WEAR、Ego-Exo4D、EgoExoLearn 和 EgoHumans 六个公开数据集整理 2,503 道人工审核的四选一题,分为自我视角下一状态、自我—外部视角匹配、外部视角下一状态、从自我视角预测外部视角下一状态四个子任务。题目约一半来自室内、一半来自室外;干扰选项包含过去状态和更远的未来状态,位置也做了平衡。
作者让模型在零样本、无微调下回答,每个模型跑三次。人类平均准确率为 98.55%;跨四个子任务的最佳模型 Gemini-3.1-Pro 为 43.81%,GPT-5.2 为 43.16%,Qwen3-VL-235B 为 40.93%。即使是最容易的跨视角下一状态子任务,跨模型平均也只有约三分之一正确;GPT-6 在该子任务的室内/室外准确率为 62.23%/58.14%,不能当成总体水平。捷径检查显示,完整序列平均 40.70%,只给候选帧为 26.31%;保留最后一帧为 35.56%,打乱时序为 31.70%,错配跨视角为 26.32%。CLIP 和 DINO 的平均准确率约 26.5%,接近四选一随机水平。
价值在于把“看见当前画面”与“建模动作后的状态变化”区分开,并同时测跨视角对齐。主要失败包括过早状态、微小动作、视角错位和构图线索;模型规模并未把结果推近人类。局限是题目依赖公开视频、格式是四选一、每模型只有三次运行,且没有训练后或真实闭环控制实验。它适合视频理解、具身 AI 和跨视角预测研究者。建议先读第 3–4 节、表 1–3,再看附录 E/F 的捷径和错误分析。
3. CLIFT:用保序自验证把网页 Agent 的稀疏反馈变成可训练信号
- 论文:CLIFT: Conformal Self-Verification for Web Agent Training and Test-Time Scaling
- 作者/来源:Yifan Zhang、Yutong Dai、Viraj Prabhu、Zhiyuan Hu、Ran Xu、Zeyuan Chen;arXiv:2610.06829
- 分类:cs.CL
- 证据状态:已核阅摘要与 PDF;结果来自作者的 WAI、VWA 和在线任务实验,验证器构建仍依赖外部 judge,不能视为无偏的独立裁判。
论文处理网页 Agent 的两个瓶颈:每一步只得到稀疏的最终成功奖励,外部 judge 又昂贵且可能不可用。CLIFT 为每个 URL 范围构建验证问题库,用 Mondrian 自适应 conformal 校准、极性权重和 trust 权重把回答转成带覆盖保证的非负增量奖励;测试时再用 CTS 比较贪心轨迹和多样化轨迹,在多数投票不确定或平局时回退到 incumbent。
在 WAI 的 9 个应用上,Gemma4 31B 的基线总体成功率为 61.8%,普通 GRPO 为 64.7%,CLIFT 为 72.6%,CLIFT+CTS 为 74.6%;相比基线分别提高 2.9、10.8 和 12.8 个百分点。平均解题步数对应为 15.4、18.5、16.0 和 15.5,说明提升不是简单地无限增加轨迹长度。CTS 在 9 个应用中改善或持平 9 个,仅发生 17.8% 的候选交换。在线 OM2W 的 300 个真实网页任务中,最终验证库有 132 道问题,其中 100 道通过校准;不训练 OM2W 策略时,Gemma 基线由 40.0% 到 45.0%,GPT-5.5 高推理配置由 49.7% 到 61.0%,提高 11.3 个百分点。
创新在于复用同一套可重新校准的验证问题库,把“是否完成了网页状态变化”而不是“是否说得像完成了”纳入训练和测试时扩展。局限也很关键:验证库构建依赖 frontier judge,judge 偏差会传入权重;跨网站迁移不一定成立,rollout 重试会带来成本、速率限制和安全问题。论文没有给出独立的人类金标准或因果消融来证明所有增益来自 conformal 机制。它适合网页 Agent 训练、奖励建模和可靠性评测研究者。建议先读第 2–4 节、表 3–6 和第 5 节的在线实验。
4. HEAR:让 Agent harness 与推理引擎共享“意图—保证—完成”的协议
- 论文:Can Agent Harnesses and Inference Engines Hear Each Other? The HEAR Protocol for Agentic LLM Serving
- 作者/来源:Jiaqi Zhao、Haodong Chen、Jitai Hao、Wei Zhao、Jinghao Pang、Qiang Huang、Jun Yu;arXiv:2610.06597
- 分类:cs.AI
- 证据状态:已核阅摘要与 PDF;结果是在固定模型、提示、预算、硬件和负载下的服务效率报告,不是对 Agent 安全或任务正确性的普遍证明。
HEAR 研究一个系统接口问题:harness 知道工作流意图和验收条件,推理引擎知道缓存、批处理和当前服务状态,但两者若只交换低层请求,就无法安全地做缓存复用和资源调度。协议把 intent/control、preference/requirement、observation/guarantee、acceptance/completion 分开,允许引擎声明能力与保证,也让 harness 表达不能违背的约束。
在 SCBench 上,Qwen3-8B、96GB 缓存的 FCFS 基线 P50 首 token 延迟为 63.1 秒、完成时间 481 秒、复用率 19.2%。加入 Cache-Aware+Guard40 后,P50 首 token 延迟为 28.3 秒(2.23 倍改善),P95 为 51.1 秒、最大值 65.0 秒,完成时间 299 秒(1.61 倍改善),复用率 66.1%;没有 Guard 时 P50 可降到 4.6 秒、完成时间 224 秒、复用率 87.6%,但最大首 token 延迟反而为 93.9 秒,体现吞吐与尾延迟的权衡。BrowseComp-Plus 的端到端墙钟时间由 5.69 小时降至 4.62 小时,Judge 准确率 46.63 对 46.15;DeepResearchBench 的 OmniKV-H2O 由 5.93 小时降至 2.42 小时,RACE 为 41.1 对 40.6。作者报告没有观察到质量下降,但这只是所测负载和 judge 下的结果。
贡献不是提出新的模型,而是把“模型能力”和“服务保证”放在同一个可协商接口中;实验也说明没有一个缓存策略在所有负载下都最优。局限包括未评估人类质量、模型安全、租户隔离和真实生产多租户攻击面,效率提升也不等于任务可靠性提升。它适合推理服务、Agent harness 和系统性能研究者。建议读第 3–4 节、表 3–6 与附录 B 的协议状态转移。
5. SpatialChain:正确答案背后的空间推理链是否真的忠实
- 论文:SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs
- 作者/来源:Rafael Teixeira Sousa、Vin\’icius Paulo Lopes de Oliveira、Elisa Ayumi Masasi de Oliveira、Luiza Martins de Freitas Cintra、Fernanda Bufon F\”arber、Igor Dias Aguiar、Julia Yasmim de Almeida Nobre、Arlindo Rodrigues Galv~ao Filho;arXiv:2610.06413
- 分类:cs.CV
- 代码:GitHub
- 证据状态:已核阅摘要与 PDF;faithfulness 由人工/模型评审协议定义,不能把可读的 chain-of-thought 当成内部机制的直接观测。
SpatialChain 用 GQA 的场景图生成带空间证据的推理链,数据有 28,350 个训练例和 899 个测试例,目标不是只问“答对没有”,而是问中间关系是否支持最终答案。作者评估开源和闭源 VLM 的答案准确率、链条质量与“答对但理由不忠实”的捷径,并用微调实验观察跨数据集迁移。
表 2 中,Qwen3-VL-8B 微调准确率为 85.03%,比基线 78.88% 高 6.2 个百分点;Qwen3-VL-4B 为 82.23%,GLM4.1-9B 为 81.34%,Claude 为 79.89%,GPT-5.4 为 72.18%。开源模型的链条长度约为参考链的 3–7 倍,闭源模型更短。表 3 显示 9 个模型中有 7 个的链条质量与正确性显著相关,但 Claude(p=0.07)和 InternVL3.5-8B(p=0.458)不显著,链长比例也几乎没有相关性。人工与 judge 审计发现,4 个模型的“正确但低忠实”比例超过 39%;微调后的 Qwen3-VL-8B 和 4B 降到 22.2% 和 19.4%。然而域内微调的 Qwen3-VL-4B 在外部 ERQA 从 0.453 降到 0.380、EmbSpatial 从 0.791 降到 0.757,提示风格和关系分布过拟合。
价值在于把答案分数和解释证据分开,且把外部迁移下降纳入主结果。失败条件包括关系稀有、场景图生成错误、用同一家族模型既生成又评审,以及二维符号关系不能覆盖深度/度量空间。它适合 VLM 评测、可解释性和具身空间推理研究者。建议先读第 3–6 节、表 2–4 和第 7 节的迁移实验,再看附录的人评一致性。
6. Measurement-First:在相信 Agent 排名之前,先审计污染与评分器
- 论文:Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation
- 作者/来源:Dishu Yang、Qi Su、Hongbo Qin、Hansong Zhang;arXiv:2610.05830
- 分类:cs.AI
- 证据状态:已核阅摘要与 PDF;论文明确把结果作为描述性审计,不能据此确认训练集成员关系或性能膨胀幅度。
论文把 Agent leaderboard 的污染拆成三条通道:训练时暴露、评测时检索暴露、pipeline/scaffold 泄漏,并用 open/partial/closed/unknown 的 fail-closed 标签记录证据。作者审计 9 个 HAL 配置的 27 个通道,没有一个达到“closed”;4 个配置确认存在污染或暴露事件。随后在 SWE-bench Verified 中匹配同仓库、同任务类型的控制题,比较模型在疑似暴露题与控制题上的差异,并单独验证评分器是否能识别训练暴露。
第一阶段保留 100 对、覆盖 10 个仓库的匹配题。GPT-4.1 的 Top-3 配对加权差为 10.0 个百分点,但配对 bootstrap 和按仓库平衡后的 95% 区间都包含 0,所以作者不把它当成确认的污染增益。第二阶段只保留 42 对题;DeepSeek-V4-Flash 评分器灵敏度为 0/2,GPT-4.1 的加权灵敏度为 0.19、95% 区间 [0.01, 0.91],精确率为 1/1,样本太少只能作描述。作者没有估计训练数据成员比例,也没有证明任何 leaderboard 分数被污染抬高。
创新是先验证“能不能测”和“测到的差异是否有辨识度”,再比较模型排名;这直接把 scorer 失效、未确认的控制集和配置缺口纳入报告。局限是只有 10 个成熟 Python 仓库、两种模型,控制题也不能证明未暴露;无固定 API seed,且追踪与配置记录不完整。它适合 benchmark 维护者、模型评测和数据治理研究者。建议先读第 3–5 节、表 1,再看附录 A/D 的匹配、评分器和不确定性分析。
AI 论文
1. ANT: A Multi-Granularity Network Traffic Dataset and Benchmark for Agents Behavior Auditing(arXiv:2610.06514)
- 重点论文:详细分析见上文“重点关注”第 1 篇。
- 作者/来源:Fan Li、Xiangyu Gao、Zixuan Liu、Tong Li、Chuanpu Fu、Ziqiang Wang、Ke Xu;来源为 arXiv;分类:cs.AI、cs.LG
- 相关链接:摘要页 · PDF · 代码与数据
2. EgoExo-Next: Benchmarking Vision-Language Models on Visual-Option Next-State and Cross-View Reasoning(arXiv:2610.04506)
- 重点论文:详细分析见上文“重点关注”第 2 篇。
- 作者/来源:Yutong Li、Molin Wang、Xiaotong Li、Yanyan Fang、Daoguo Dong、Ziyi Ye;来源为 arXiv;分类:cs.CV
- 相关链接:摘要页 · PDF · 数据集
3. CLIFT: Conformal Self-Verification for Web Agent Training and Test-Time Scaling(arXiv:2610.06829)
- 重点论文:详细分析见上文“重点关注”第 3 篇。
- 作者/来源:Yifan Zhang、Yutong Dai、Viraj Prabhu、Zhiyuan Hu、Ran Xu、Zeyuan Chen;来源为 arXiv;分类:cs.CL
- 相关链接:摘要页 · PDF
4. BazaarBench: Delegation Safety in Decentralized C2C Marketplaces Run by LLM Agents(arXiv:2610.06748)
- 作者/来源:Ziyan Wang、Shuqing Shi、James Oldfield、Samuele Marro、Jialin Yu、Philip Torr、Yali Du、Adel Bibi;来源为 arXiv;分类:cs.MA
- 证据状态:仅依据摘要。
BazaarBench 模拟由 LLM Agent 经营的去中心化 C2C 市场,连续 30 天、100 个 Agent、45 个延续场景,比较普通、截止期和对抗性委托。摘要报告,在对抗性市场中,不可用或夸大承诺的比例从 15.4% 升到 33.4%,GPT-5.4 达到 55.5%;周收入从 20 美元升到 33 美元,但增加部分来自从未持有的物品,不能解释为真实福利或市场效率提升。作者发布模拟器、评测和约 357,608 条调用记录;摘要没有给出真实市场校准、独立人类基线和污染审计。
5. Can Agent Harnesses and Inference Engines Hear Each Other? The HEAR Protocol for Agentic LLM Serving(arXiv:2610.06597)
- 重点论文:详细分析见上文“重点关注”第 4 篇。
- 作者/来源:Jiaqi Zhao、Haodong Chen、Jitai Hao、Wei Zhao、Jinghao Pang、Qiang Huang、Jun Yu;来源为 arXiv;分类:cs.AI
- 相关链接:摘要页 · PDF
6. SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs(arXiv:2610.06413)
- 重点论文:详细分析见上文“重点关注”第 5 篇。
- 作者/来源:Rafael Teixeira Sousa、Vin\’icius Paulo Lopes de Oliveira、Elisa Ayumi Masasi de Oliveira、Luiza Martins de Freitas Cintra、Fernanda Bufon F\”arber、Igor Dias Aguiar、Julia Yasmim de Almeida Nobre、Arlindo Rodrigues Galv~ao Filho;来源为 arXiv;分类:cs.CV
- 相关链接:摘要页 · PDF · 代码
7. VepAgent: Bridging Causal-Transition via Tool-Augmented Reinforcement Learning for Video Event Prediction(arXiv:2610.06293)
- 作者/来源:Qiutong Chen、Yuchan Guo、Zhenlong Yuan、Haobo Yang、Fangfang Lin、Xinyi Long、Yin Wang、Zijian Song、Rui Lan、Shi Qiu、Boyuan Pan、Yang Luo、Yuyin Zhou;来源为 arXiv;分类:cs.CV
- 证据状态:仅依据摘要。
VepAgent 面向视频事件预测,把未来状态生成拆成因果转移,并使用状态追踪、帧检索、区域放大等工具;训练中用准确性、因果连贯性和可靠先验组成奖励。作者报告在 FutureBench-4K CoT SFT 及相关视频事件预测评测上达到新的结果。摘要没有给出完整分数、模型基线、数据切分、训练成本和真实视频交互失败率,因此这里只能把它看作作者报告的 benchmark 改进。
8. MS-Exam-Gen: Source-Grounded Benchmark Construction for Evaluating LLMs on Textual Multiple Sclerosis MRI Knowledge(arXiv:2610.06170)
- 作者/来源:Abdul Basit、Muhammad Abdullah Hanif、Muhammad Shafique;来源为 arXiv;分类:cs.AI
- 证据状态:仅依据摘要。
MS-Exam-Gen 从 66 个来源整理 4,289 个文本块,并锁定 3,058 道覆盖 16 个主题、53 个子主题的多发性硬化 MRI 选择题,用 12 个 LLM endpoint 做 36,696 次预测。作者报告准确率从 89.7% 到 46.9%,有 25.5% 的题目被至少四个模型漏答;这说明题目难度与模型差异都很大,但不是临床认证。摘要未说明题目独立医学审阅、训练数据污染、病例影像能力和临床安全阈值。
9. Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation(arXiv:2610.05830)
- 重点论文:详细分析见上文“重点关注”第 6 篇。
- 作者/来源:Dishu Yang、Qi Su、Hongbo Qin、Hansong Zhang;来源为 arXiv;分类:cs.AI
- 相关链接:摘要页 · PDF
10. Are We Measuring Scientific Intelligence? Rethinking the Evaluation of AI Scientists(arXiv:2610.04915)
- 作者/来源:Kate Zhang、Yuante Li;来源为 arXiv;分类:cs.AI
- 证据状态:仅依据摘要。
论文用“保留、撤回、反转证据”的编辑实验检验 AI Scientist 是否真正依赖证据。作者在 18 个单细胞 BAISBench、4 个合成 GeneBench 任务、3 个 scaffold 和 5 个模型上报告:Claude 的表面答案准确率约 95%,但去掉数据后仍有 83%,真正证据接地率只有 41%;隐藏基因名会让其追随被反转证据的比例从 58% 升至 93%。这些数字是作者的受控测试,不代表一般科学推理或真实实验可靠性;摘要未给出完整统计区间、训练污染和人类专家基线。
11. ARISE: Adaptive Agentic Reasoning with Image-grounded Self-Evaluation for Interpretable IBD Assessment(arXiv:2610.04777)
- 作者/来源:Pronoma Banerjee、Anuva Shah、Jason Wu、Md. Masudur Rahman、Sanjay Mohanty、Satya Kurada、Juan P. Wachs;来源为 arXiv;分类:cs.CV
- 证据状态:仅依据摘要。
ARISE 将医学影像 Agent 分为假设、证据、修正、符号验证和最终回答五阶段,在胶囊内镜 Crohn 病和超声溃疡性结肠炎任务上比较基线与图像接地的自评流程。作者报告该流程稳定改善多个基线,但摘要未给出具体准确率、患者级切分、外部验证、临床医生盲审、训练污染和推理成本;因此不能把“改善”解释成临床诊断效果。
12. MASBench: Benchmarking LLM-based Multi-Agent Collaboration under Partial Observability(arXiv:2610.04672)
- 作者/来源:Qizhi Chu、Zekai Yu、Sijie Wen、Yang Liu、Chen Qian、Cheng Yang、Chuan Shi、Zhiyuan Liu;来源为 arXiv;分类:cs.AI
- 证据状态:仅依据摘要。
MASBench 在部分可观测的推理、调度和博弈任务中,同时测 Protocol、Memory、Routing 三种协作机制,并把确定性表现、通信成本和成本效果放在一起。作者报告不同机制存在明显的性能—通信折衷,并发布评测代码;摘要没有完整任务数、模型名单、污染审计、统计区间和真实多 Agent 部署验证,不能把 benchmark 排名当成通用协作能力。
13. Grounded in Time: A Multi-Source Dataset and Benchmark for Temporal Grounding in Robotic Manipulation(arXiv:2610.04255)
- 作者/来源:Yi Wang、Yang Yang、Guangqi Xu、Sumin Lin、Ning Kang、Pengxiang Lu、Xiaotong Chen、Zeyu Xue、Ping Deng、Xing Liu、Chenguang Yang、Zhenyu Lu;来源为 arXiv;分类:cs.RO
- 证据状态:仅依据摘要。
GiT 面向机器人操作中的时间定位,整合多来源演示、18 个真实 UMI 双臂任务和 9 个仿真任务,并加入历史与反事实配对来测试模型是否知道动作发生的时机。作者报告现有模型仍有提升空间;摘要没有给出完整数据规模、基线分数、真实机器人成功率、训练算力和失败分类,因此不能从“benchmark 更难”推导出某个方法已适于部署。
14. Agent Policy-Value Audit: Separating Transition Composition from Event Selection in Financial LLM Agents(arXiv:2610.04040)
- 双主题索引:本论文同时属于金融主题,完整重点分析见金融简报“重点关注”第 1 篇;AI 简报在此保留交叉主题简介,避免重复展开。
- 作者/来源:Mingyang (Alex) Chen、Yida (Andrew) Xu、Huiwen (Aurora) Chen、Yiming Lu、Wei Jin;arXiv:2610.04040;分类:cs.AI、q-fin
- 证据状态:仅依据摘要(AI 侧作交叉索引)。
论文把金融 LLM Agent 的结果拆成“采取了什么动作”与“在什么事件上采取动作”两部分,用随机重排可行动作的匹配审计分离 deployment value 与 event-selection skill。摘要报告 2020–2024 年 723 个事件的回溯研究,核心结果不支持明显的事件选择能力;这是作者的金融回测/审计设计,不是 AI 能力的独立验证,详细的相关性、样本外边界与局限见金融篇。
15. FreshBrew: A Benchmark for Evaluating AI Agents on Java Code Migration(arXiv:2510.04852)
- 作者/来源:Victor May、Diganta Misra、Yanqi Luo、Anjali Sridhar、Justine Gehring、Silvio Soares Ribeiro Junior;来源为 arXiv;分类:cs.SE
- 证据状态:仅依据摘要。
FreshBrew 用 228 个 Maven Java 仓库评估 JDK 8 到 JDK 17 的真实迁移,以编译、测试和行为保持作为结果。作者报告 Gemini 2.5 Flash 的迁移成功率为 52.3%,并和规则基线比较;这比单个代码片段生成更接近工程 Agent,但摘要没有完整模型对照、执行成本、许可证过滤、污染审计和失败修复时间。
16. MagiC: Evaluating Multimodal Cognition Toward Grounded Visual Reasoning(arXiv:2507.07297)
- 作者/来源:Chengfei Wu、Ronald Seoh、Bingxuan Li、Liqiang Zhang、Fengrong Han、Dan Goldwasser;来源为 arXiv;分类:cs.CV
- 证据状态:仅依据摘要。
MagiC 以约 5,500 个弱标注问答和 900 个人工整理样本,评估 15 个 7B–70B VLM 的回答、推理、视觉接地和自校正。作者把“答对”与“理由是否有图像证据”分开,但摘要没有给出各模型完整数字、基线、公平的图像分辨率设置、污染审计和推理成本;因此只能把它作为评测框架和数据集介绍。
17. MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents(arXiv:2610.06830)
- 作者/来源:Haozhen Zhang、Haodong Yue、Quanyu Long、Jianzhu Bao、Qingyuan Liu、Tao Feng、Bohan Liu、Weida Liang、Wenya Wang;来源为 arXiv;分类:cs.CL
- 证据状态:仅依据摘要。
MemPilot 让多模态 Agent 的 RL 策略按需决定何时检索、整理原始历史和更新记忆,并在多个 LLM/VLM benchmark 上比较性能、成本和延迟。作者报告相较基线形成更好的性能—成本—延迟 Pareto 前沿;摘要没有列出任务、模型、预算、记忆污染和长期失效条件的完整数字,不能把 Pareto 改善解释成所有工作流都更可靠。
18. From Benchmark to Bench: Can Agents Survive Real-World Drug Discovery?(arXiv:2610.06411)
- 作者/来源:Pierre Llompart、Levent Guner、Helen Lai、Alessandro Tibo、Yijie Xu;来源为 arXiv;分类:cs.AI
- 证据状态:仅依据摘要。
MAGI 在 3 家药企的 9 个回顾性 lead campaign 上比较 LLM Agent 与 REINVENT 的分子和路线建议。作者报告两者都能提出有效结构,LLM 更偏局部化学合理性、REINVENT 覆盖更广;化学家无法稳定区分两类方案,但目标函数取决于 scorer 的适用域。摘要没有前瞻性合成、真实湿实验、成本、数据泄漏和失败率,因此这是回顾性设计空间评测,不是药物发现成功率证明。