每日 AI 论文简报（2026-10-29）
重点关注
Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements
全文 PDF 核读。 作者：Binhang Qi、Yiming Liu、Yun Lin、Yangjie Zhou、Hailong Sun、Jin Song Dong。
- 核心问题： 不看目标实现，只给自然语言需求和接口时，代码智能体能否写出真正覆盖需求行为的测试，而不只是让测试运行通过？
- 方法与比较： Req2Test-Bench 从 8 个开源项目中恢复并执行验证 5,086 组开发者编写的 Gherkin 需求与测试实现，覆盖 5 种语言、4 种 BDD 框架。论文比较 8 种 agent、模型和推理配置；除通过率外，还以开发者测试杀死的变异体作为行为充分性参照。
- 作者报告的结果： 最佳配置 Codex CLI + DeepSeek-V4.1-Flash 的测试通过率为 82.8%，但只有 33.8% 达到 KillComplete。Codex CLI 配置从 GPT-6 Luna 换到成本约高 6 倍的 DeepSeek 后，充分率从 28.3% 提至 33.8%；再换到成本约高 4.9 倍的 GPT-6 Sol，充分率反而为 31.3%。作者还报告，未通过充分性检查的可运行测试中，90%–99% 涉及需求未写明的初始化条件或预期结果。
- 创新、限制与复现： 基准把完整的项目内测试实现与需求逐项对应，并用执行、覆盖和变异测试检验行为，而不是只用代码相似度。八个项目和其 BDD 习惯仍只是有限样本；变异体集合不等同于需求语义的穷尽证明，模型与 agent 框架同时变化也限制了对单个模型的归因。基准代码和数据集公开；公开材料没有给出专门的数据污染审计。
- 适合谁读： 软件工程、代码智能体与测试生成研究者。建议读第 3 节的数据和充分性定义、第 4 节配置、第 5 节失败分析及第 6 节效度威胁。
Hedge-Bench: Benchmarking Agents on Hard, Realistic Tasks Pertaining to Financial Reasoning
全文 PDF 核读；AI/金融双主题，本篇详细展开。 作者：Mahesh Ramesh、Eric Cho、Alice Lu、Shawn Huang、Baiqing Lyu。
- 核心问题： 金融智能体能否在信息截止时点固定的资料上完成研究，并对后来才揭晓的市场事件作出预测？
- 方法与比较： 基准包含 92 个真实研究环境，以研究员分析记录和其后已结算的预测问题构造。11 个前沿模型各运行 3 次；联合成功要求预测正确且研究覆盖率超过 60%。作者再以 GRPO 和逐轮信用分配训练 Muse-Glimmer：165 个环境用于训练，22 个环境用于留出测试，并报告与基础模型及训练控制组的比较。
- 作者报告的结果： 原始模型联合成功率为 2.54%–31.52%。Muse-Glimmer 在留出环境的研究覆盖率从低推理强度的 17.17% 提到 33.36%，高强度下从 30.19% 提到 47.02%；训练后高强度预测准确率提高 10.06 个百分点。低强度模型相对基础模型高强度运行少用 47.9% token，同时覆盖率更高。作者还报告多个外部任务分数上升。
- 创新、限制与复现： 冻结事件发生前的资料并追踪后续真实结果，比静态问答更接近研究工作流；但 92 个环境和 22 个留出案例不足以覆盖金融研究的广阔任务分布，analyst trace 的筛选方式也会影响难度。时间截断能减少直接看到未来材料的机会，但不能完全排除模型预训练记忆相关事件；基准测的是研究与预测，不是含交易成本的策略收益。作者公开了代码。
- 适合谁读： 金融研究 agent、检索增强生成和预测基准研究者。建议读环境构造、冻结资料协议、联合指标、留出训练结果及外部泛化实验。
Gym-Anything-RT: Scaling Real-Time Environments for Vision-Language Agents
全文 PDF 核读。 作者：Pranjal Aggarwal、Sean Welleck。
- 核心问题： 依赖多轮推理的视觉语言智能体，能否在环境持续变化时及时观察并采取行动？
- 方法与基线： 作者按 6 类实时交互能力自动构造 100 个小游戏，并为同一任务提供实时、减速和暂停版本；比较前沿闭源模型、开放权重模型和人类表现。这里的关键基线是任务本身不变、只放宽动作时限的对照，便于区分推理能力与响应速度。
- 作者报告的结果： GPT-6 Astra（xHigh）在实时任务通过率为 9%，对应的非实时版本为 66%；同一批任务暂停环境后为 75%，减速 64 倍后为 57%。允许其编写代码后，实时通过率升至 31%。但该设置平均每次尝试约 7.2 分钟、费用约 4.50 美元；研究将速度识别为主要瓶颈。
- 创新、限制与复现： 同一游戏在不同时限下的可控比较揭示出“离线答得对”与“实时来得及做”的差异。小游戏覆盖的能力和机制有限，能否迁移到完整游戏或真实物理设备仍未验证；代码代理也可能通过脚本绕过模型逐步观察的限制。作者公开了代码与任务数据。
- 适合谁读： 视觉语言 agent、机器人控制和实时交互评测研究者。建议读任务生成与验证设计、实时/非实时对照、减速实验、成本表及附录 A 的局限。
PailitaoMMSearch2.0 Technical Report: Scaling Generative Retrieval to Unified End-to-End Multimodal Search
全文 PDF 核读。 作者：Xiaohan Ye、Zihan Gong、Jingqian Zhao、Lianyu Du、Yunmeng Shu、Xu Chen、Zesheng Zhou、Renchun You、Bocheng Chen、Jinsong Lan、Haihong Tang、Bo Zheng。
- 核心问题： 一个多模态检索模型能否用自然语言和图片理解多种购物意图，并适配不同线上资源预算，而不是为单一入口训练多个专用模型？
- 方法与基线： 系统直接由图片与指令生成商品 Semantic ID，依次结合持续预训练、混合预算监督微调和统一强化学习；Sample–Beam rollout 将训练过程与多候选线上服务对齐。离线对照包括两个视觉语言模型改写查询后全文检索的管线，以及一个内部多路召回加排序系统；在线对照为相应生产基线。
- 作者报告的结果： 在匹配初始化、意图混合和奖励评估的离线实验中，2B 模型的 Excellent Rate 宏平均由 SFT 的 49.03% 升至 Sample–Beam RL 的 55.00%，提高 5.97 个百分点。线上测试约将 10% 流量分配给实验组、持续约 14 天；作者报告商品详情页浏览量提高 17.90%、交易量提高 27.04%、GMV 提高 8.94%，并称均达到 p<0.05。
- 创新、限制与复现： 论文同时报告组件消融、质量/延迟预算与真实业务 A/B，且公开了线上实验持续时间和流量比例。训练数据、评估集和服务系统属于企业场景，公开代码与数据不足以让外部团队完整复现；自动评估器可能与数据筛选及奖励模型有相关误差，线上 A/B 衡量的是整套系统，不能把业务变化归因到某个单独组件。业务指标提升也不等同于其他领域的通用模型能力提升。
- 适合谁读： 多模态检索、推荐系统和工业级模型训练团队。建议读多意图任务定义、离线基线、Sample–Beam 消融、模型规模与推理预算，以及第 7.6 节线上实验。
LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents
全文 PDF 核读；AI/金融双主题，本篇详细展开。 作者：Sinuo Wang、Wentao Zhao、Jiacheng Lu、Rui Sun、Beidi Luan、Qiming Shi、Jing Li、Daxin Jiang、Zuo Bai。
- 核心问题： 金融数据会随日期变化，如何避免静态基准用过时答案奖励模型记忆，而不是实时检索和核对来源？
- 方法与比较： 每道题由固定文字、可执行的数据服务查询程序和答案匹配规则组成；程序直接调用专业金融数据服务，由确定性提取器生成标准答案，并每日刷新。时间变化分析使用 153 道中文单跳问题，涉及 12 个工具和 A 股、港股、美股、基金、指数、宏观与利率数据；模型榜单则比较 6 个工具调用模型在通用网页搜索下的表现。
- 作者报告的结果： 网页搜索模型准确率为 70.9%–76.7%，最佳模型仍错约四分之一。连续三日中，109 道当日可回答题里有 76 道（70%）至少一次改变标准答案；直接复用前一日答案，在一日后多数题上都会失败。研究还展示了平均分近似不变时，单题正确状态仍会频繁翻转。
- 创新、限制与复现： 把每道题的答案定义为可重新执行的程序，减轻静态标签陈旧和答案泄漏带来的评测失真。当前时间分析是单跳、中文、结构化金融数据题，不能代表多步研究、因果分析或投资判断；70.9%–76.7% 是通用网页搜索设置，不是接入专业付费数据工具后的得分。正文未提供可直接复现数据服务和完整基准的公开代码链接。
- 适合谁读： 实时搜索 agent、金融问答评测与基准维护者。建议读题目表示与自动构建、153 题时间样本、模型结果、逐题变化分析及局限章节。
AI 论文
DocXEval: A Systematic Evaluation of Explainability in Multimodal Document Understanding
作者：Saifullah Saifullah、David Dembinsky、Stefan Agne、Andreas Dengel、Sheraz Ahmed。仅依据摘要。 研究多模态文档模型的解释结果如何评测；作者在 3 类任务、8 个数据集、4 个模型上比较 13 种解释方法和 17 项指标，报告遮挡法整体较稳定，但不同忠实度与复杂度指标只中等或较强一致。该结论依赖所选模型、任务和解释指标，不能据此证明解释能提高高风险场景的实际可靠性。作者提供了代码。
Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements
作者：Binhang Qi、Yiming Liu、Yun Lin、Yangjie Zhou、Hailong Sun、Jin Song Dong。智能体在真实项目需求到测试生成中“通过”与“测得充分”之间有明显落差；数据、方法与效度边界见重点关注。
Hedge-Bench: Benchmarking Agents on Hard, Realistic Tasks Pertaining to Financial Reasoning
作者：Mahesh Ramesh、Eric Cho、Alice Lu、Shawn Huang、Baiqing Lyu。AI/金融双主题。 作者以冻结资料和后来揭晓的预测结果评估 agent 的研究覆盖与预测质量；少数留出环境上的训练改善不等于可交易收益，详细证据限制见重点关注。
Gym-Anything-RT: Scaling Real-Time Environments for Vision-Language Agents
作者：Pranjal Aggarwal、Sean Welleck。实时环境与暂停/减速对照揭示了当前模型的时延瓶颈；从小游戏到实体设备的迁移仍未验证，详见重点关注。
Zhengrong-Spatial-Aware 1.0: Advancing 3D Multimodal Intelligence
作者：Yu Zhang、Xiaogang Wang、Yuhang Cheng、Jingrui Li、Wenbo Chen。仅依据摘要。 报告两条 3D 空间问答微调流程：HiSpatial-3B 加入度量尺度点图，另一条用 QLoRA 调整 Qwen3-VL；作者报告定制基准上 HiSpatial 准确率从 1.73% 升至 79.89%，风格化拆分从 14.9% 升至 55.1%，Qwen3-VL-8B/32B 也有提升。摘要没有交代数据规模、切分细节或完整基线，定制数据上的大幅提升不能直接视为通用空间能力。
PailitaoMMSearch2.0 Technical Report: Scaling Generative Retrieval to Unified End-to-End Multimodal Search
作者：Xiaohan Ye、Zihan Gong、Jingqian Zhao、Lianyu Du、Yunmeng Shu、Xu Chen、Zesheng Zhou、Renchun You、Bocheng Chen、Jinsong Lan、Haihong Tang、Bo Zheng。多意图检索离线提升与线上业务指标来自不同证据层级；外部复现和单组件归因有限，详见重点关注。
LM-DSB: A Lightweight Multi-agent System for Automated Daily Safety Bulletin Generation in Construction
作者：Xianxiang Zhao、Advik Mehta、Falak Sethi、Brian Gue、Qipei Mei、Lingzi Wu。仅依据摘要。 系统由规划、检索和撰写代理、37 份安全文件及本地 Llama 3-8B 组成；作者报告 40 位专家给出的可接受度均值为 3.50–4.20/5，合规性得分最高。词面指标和专家评分不能代替实际工地事故风险验证，论文也明确没有现场部署验证。
OA-RAG: Ontology-based Agentic RAG for Faithful LLM Reasoning
作者：Hui Yang、Jiaoyan Chen、Yongsheng Gao。仅依据摘要。 方法把本体中的逻辑关系与自然语言注释交给 agent，回答时列出所用证据并标注支持等级；作者在 3 个大型本体和 6 个医学问答任务上报告整体优于受测本体微调和通用 RAG。摘要没有给出绝对提升；由模型评估的 grounding 等级与正确率相关，不等于独立证明答案忠实。
AmaraSpatial-10K: A Spatially and Semantically Aligned 3D Dataset for Spatial Computing and Embodied AI
作者：Mohammad Sadegh Salehi、Alexander J. P. Perkins、Igor Pardo Maurell、Ashkan Dabbagh、Raymond Wong。仅依据摘要。 数据集含 10,071 个标准化合成 3D 资产；作者报告 CLIP Recall@5 为 0.612，对照 Objaverse 为 0.181，314 个资产的非作者抽查中 95.5% 被评为尺度合理。页面所连全文在本次核读时无法取得，以上数字和数据审计方式尚未作全文复核；合成资产表现也不直接代表真实机器人任务成功率。
SQuID: A Benchmark for Quantitative Spatial Reasoning on Satellite Imagery
作者：Peter A. Massih、Eric Cosatto、Martin Renqiang Min。仅依据摘要。 基准含 587 张卫星影像和 2,000 道数量空间问题；作者报告最佳端到端零样本视觉语言模型准确率为 28.1%，程序化空间测量基线 QASR 为 42.0%，给定正确分割掩码后升至 82.6%。结果定位出分割而非测量步骤的主要误差，但基准覆盖的影像分辨率和问题类型仍有限；摘要称提供训练集与参考掩码，未列出数据地址。
Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis
作者：Andrew Szot、Samira Abnar、Omar Attia、Abbas Kazerouni、Michael Kirchhof、Cheng-Yu Hsieh、Raviteja Vemulapalli、Alexander Toshev。仅依据摘要。 SynthAPI 控制工具、任务和数据库的合成环境多样性；作者通过 458,752 个任务和 849 个不同规模训练模型拟合 agent 泛化规律，报告增加工具与数据库多样性通常比单纯增加任务数量更有效。实验规模大，但摘要没有列出训练算力、绝对基准成绩或污染审计，缩放规律能否推广到真实工具和业务分布仍待全文核验。
LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents
作者：Sinuo Wang、Wentao Zhao、Jiacheng Lu、Rui Sun、Beidi Luan、Qiming Shi、Jing Li、Daxin Jiang、Zuo Bai。AI/金融双主题。 可执行答案和每日更新减少了静态标签过时问题，但当前榜单测的是单跳实时金融搜索能力，而非复杂研究推理，详见重点关注。
Physics-Guided Flow Matching: A Generative AI Framework for Global Total Electron Content Forecasting
作者：Si-Tong Yang、Feng Ye、Xian Lu、Dong Lin、Benjamin C. Martinez。仅依据摘要。 研究以电离层偏微分方程引导 flow matching，使用一年 TIEGCM 全球电子总含量数据作次日预测；作者报告平均 RMSE 比 ConvLSTM 低 39.2%，比去掉物理引导的同框架低 23.8%。数据来自物理模型模拟而非独立观测，摘要未说明数据污染、随机种子方差和训练算力，结果不能直接等同于业务预报提升。
AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations
作者：Qiming Shi、Yikun Li、Beidi Luan、Rui Sun、Yan Ma、Jing Li、Daxin Jiang、Zuo Bai。仅依据摘要。 模拟一个 agent 连续运营 20 台自动售货机 180 天，并与规则库存控制基线比较；作者报告 5 个 LLM 中有 4 个收益不及规则基线，推理费用也会改变模型的收益/成本排序。模拟器可暴露库存、补货和保质期的长期约束，但仍不是真实零售运营，摘要未给各模型绝对收益或外部验证。
PRISM-BENCH: Diagnosing Grounded and Faithful Multimodal Reasoning Beyond Final-Answer Accuracy
作者：Vansh Bhatia、Mehdi Rezagholizadeh、Parsa Ashrafi Fashi、Igor Gilitschenski、Vikram Appia、Emad Barsoum。仅依据摘要。 基准含 1,000 道人工策划问题、25 个开放与闭源系统；作者报告约 85% 前沿模型错误可归因于感知失败，轨迹对齐预测正确性的宏 AUROC 为 0.66，最佳系统准确率为 66.0%。推理轨迹由一位标注者撰写、另一位验证，仍可能受题目范围与人工参考答案影响；摘要未列训练污染专项审计。
Identity or Evidence? Auditing Evidence Dependence in Agentic Life-Science Benchmarks
作者：Danai Brilli、Maria Georgila。仅依据摘要。 论文在临床结果和生物医学任务中分别改变实体名称与证据内容；在一组以名称和候选列表为主的任务中，揭示身份可见时准确率为 0.742，遮蔽身份后为 0.082，接近 0.093 的机会水平。结果支持对记忆线索做审计，但效应依具体题库和遮蔽方式而定；摘要建议同时报告身份遮蔽、检索轨迹和正对照。
CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
作者：Kiante Fernandez、Caitlin Chen、Jialu Zhou、Bartek Sadowski、Anthony C. Miceli、Ian Krajbich。仅依据摘要。 10 种行为实验通过浏览器视觉界面和时间压力运行，4 个多模态模型各重复 10 次；作者发现任务完成与复现人类行为特征并非同一能力，部分模型未能完成任务。基准提供任务、评分代码和公开榜单，但摘要未给整体完成率和各实验绝对分数，也不能把人类行为复现视为模型具有人类心理机制。
RouteDRAG: Learning to Route and Control Agentic Execution for Multimodal Document RAG
作者：Zekai Chen、Hao Zhu、Yu Liu、Xunkai Li、Zejian Kang、Rui Qian、Quanjiang Li、Rong-Hua Li。仅依据摘要。 框架先判断问题是否值得启动 agent，再控制后续工具调用；作者在两个基准上报告，相对只走短路径的基线准确率平均提高 3.47 个百分点，同时仅将 79.3% 的问题交给 agent，并超过统一启动 agent 的对照。节省调用是否转化为真实部署成本优势取决于模型与文档长度，摘要未给美元成本或污染审计。作者提供了代码。