每日 AI 论文简报｜可执行 Agent、数学检索与办公自动化评测

重点关注

以下均为 arXiv 预印本，未经过期刊同行评审；文中的实验结论均为作者报告，不能替代独立复现。

1. TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning

Jinhu Qi、Wentao Zhang、Siu Man Ng、Feiyang Xu、Yanyu Chen、Yaoman Li、Irwin King｜arXiv（cs.CL）｜PDF｜代码与数据

• 核心问题与方法。 评测工具调用 agent 能否一次性生成可订、时空可达、预算合规、无实体幻觉并满足隐含偏好的行程，而不是逐项得分。TREK 在 375 城市、13 类画像、212,530 条内部一致记录的 REST 沙盒上给出 800 题（533 可行、267 可证明不可行），以无 LLM 裁判的确定性规则和人工核验的满分参考答案评分。
• 作者报告的结果与基线。 PDF 显示，15 个 agent 在九维约束下，最强 GPT-5.6 的可行任务“全满足”率为 46.2%，中位数 6.6%、最低为 0；前沿模型对隐含需求的通过率仅 46.3%，其他维度至少 86.7%。比较基线是同一确定性评测下的不同 agent，而非真实预订成功率。
• 创新、局限与适读者。 价值在于把可执行性、正确拒绝与可审计评分结合，并发布沙盒。数据是合成且结构一致的，无法覆盖真实库存、价格漂移、用户偏好表达和线上工具故障；公开基准也需持续检查污染与模型版本变化。适合 agent 平台、评测与可靠性团队；优先读第 1–2 节任务/评测、第 4 节实验和第 5 节误差分析。

2. MathNet: a Global Multimodal Benchmark for Mathematical Reasoning and Retrieval

Shaden Alshammari、Kevin Wen、Abrar Zainal、Mark Hamilton、Navid Safaei、Sultan Albarakati、William T. Freeman、Antonio Torralba｜arXiv（cs.AI）｜PDF｜数据与基准

• 核心问题与方法。 MathNet 扩大数学推理评测的语言、图文与检索维度：47 个国家、17 种语言、30,676 道带专家解答的竞赛题，并构造人工整理的等价/结构相似题对；任务包括解题、数学感知检索和检索增强解题。
• 作者报告的结果与基线。 PDF 中，Gemini-3.1-Pro 与 GPT-5 在解题任务分别为 78.4% 与 69.3%；嵌入检索对数学等价关系仍困难。作者报告 DeepSeek-V3.2-Speciale 的检索增强增益最高可达 12%，说明检索质量会直接改变生成端表现；这些是基准内分数，不是一般数学能力的无偏估计。
• 创新、局限与适读者。 它把“找同构题”从普通语义相似度中拆出，适合 RAG 与教育工具评测。题目来源、翻译与解答格式可能造成训练泄漏；不同模型的工具、提示、测试时检索预算必须统一，且分数不反映证明的可验证性成本。适合数学 RAG、表示学习与评测研究者；优先读第 2–3 节数据/相似性定义、第 5 节实验。

3. OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding

Jingbo Zhou 等｜arXiv（cs.AI）｜PDF

• 核心问题与方法。 论文把 Office 文档、表格、幻灯片、PDF 的长程工作流放进 100 个来自实践者、经隐私处理的任务；每题平均人工工时 2.32 小时、约 20.09 个评分项，并同时记录质量、时间和成本代理。评分使用代码校验与细粒度 rubric，显式扣除无意修改或可避免损害。
• 作者报告的结果与基线。 PDF 显示人类平均任务分 27.79，显著高于测试的 LLM；Qwen3.7-Plus 的零分率仍为 38%，最好的模型也只有 14% 任务得分高于 50。基线涵盖人类与多种 agent，但评分是该基准的经济代理，不等同于企业部署节省或生产率因果效应。
• 创新、局限与适读者。 同时量化质量—成本—时间权衡，能防止只用完成率高估自动化价值。100 题与隐私改写数据的覆盖有限，人工价格代理、工具权限、版本和失败恢复会主导外部有效性。适合办公 agent、产品评测和流程自动化团队；优先读第 3 节任务构建、第 4 节验证与第 5 节效率结果。

AI 论文

以下 15 篇与上文重点论文合计为今日去重后的 18 篇候选；均仅依据作者公开摘要。所述“提升”“SOTA”均需用相同数据、基线、污染控制、算力和可复现材料复核。

Adversarial Pragmatics for AI Safety Evaluation: A Diagnostic Framework and Seed Benchmark for Language-Mediated Control

Brett Reynolds｜arXiv（cs.CL / cs.AI / cs.SE）｜PDF

以指令冲突、引用、范围歧义等语用现象诊断安全评测的标签混淆，含 18 题种子集、54 行试验和六格 LLM 裁判设计。作者报告多数一致性统计无法排除常数标注器，且最强单元不超过 11 个部分成功中的 2 个；价值在于分离任务成功与合规，限制是小型单轮种子集并不能认证部署安全。仅依据摘要。

Credit Cards, Confusion, Computation, and Consequences: What Can We Uncover About Language Model Reasoning?

Arnav Hiray 等｜arXiv（cs.CL）｜PDF

CreditCardQA 从真实信用卡协议构建 1,800 个费用、利息和还款推理题，比较 CoT 与 Program-of-Thought。作者报告 PoT 尤其帮助弱基线，错误更多来自规则和条件误读而非算术；真实合同题有助于暴露脆弱用户场景，但数据授权、合同版本与提示泄漏仍会影响外推。仅依据摘要。

EgoSafe: A First-Person Mobile-Captured Benchmark for Visual Safety Understanding

Yuyun Chen 等｜arXiv（cs.CV）｜PDF

EgoSafe-Bench 用 3,000 段第一视角视频配成 12,000 个样本，并以从特征锚定到盲区、意图推断的层级协议考察视觉安全推理。作者称 Qwen3-VL、Gemini、VideoLLaMA 3 常出现“描述强、因果闭环弱”；这不是现场安全认证，标签、视频采样与推理轨迹评分本身可能引入捷径。仅依据摘要。

SciFigQual-Bench: A Benchmark for Scientific Figure Quality Assessment with Full-Manuscript Context

Zihan Deng 等｜arXiv（cs.CV / cs.AI）｜PDF

作者以 2020–2025 顶会的 6,308 张图、图注和上下文，标注清晰度、版式、图注贴合、上下文相关和误导风险五维，并提出 SFQ-Agent。摘要称其在 eval1200 上平均绝对误差 0.418、一致率 93.4%；但专家评分一致性、会议分布和以 GPT-5.6-Sol 作组件的成本/可复现性须核查。仅依据摘要。

SCALPEL: Semantic Cross-modal Alignment via LLM-Powered Encoder Learning for Medical Vision-Language Representation

Yunzhan Fu 等｜arXiv（cs.CV）｜PDF

SCALPEL 用临床报告对比微调、离线特征缓存及解剖—否定感知目标，将生成式 LLM 用作医疗图文编码器；在 MIMIC-CXR、CheXpert、IU X-Ray 上评测检索、零样本分类和 VQA。作者报告 SOTA，但需比较完全相同的预训练、数据切分与算力，临床幻觉或数据偏差也不能由离线指标排除。仅依据摘要。

TANDEM: Temporal-Aware Neural Detection for Multimodal Hate Speech

Girish A. Koushik、Helen Treharne、Diptesh Kanojia｜arXiv（cs.AI / cs.CL / cs.MM / cs.SI）｜PDF

该框架让视—语与音—语模型以串联强化学习互相约束，输出时间戳和目标身份而非二分类。作者在 HateMM 报告目标识别 F1 0.73、较 SOTA 高 30%，但多类别仇恨/冒犯仍受标签歧义和不均衡限制；自动审核还需独立审查偏见、误伤和对抗适应。仅依据摘要。

UrbanDS: A Graph-Guided LLM Multi-Agent System for Data-Intensive Urban Tasks

Zhilun Zhou 等｜arXiv（cs.AI）｜PDF

UrbanDS 先把异构城市数据组织为数据集技能图，再由规划、执行和报告 agent 协作，并构建 UrbanDS-Bench。作者称其在通用和城市任务优于现有数据科学 agent，且已部署于武汉东湖区运营平台；需区分离线基准与真实部署的因果收益，并审计图构建、数据权限和运行成本。仅依据摘要。

AlphaSchema: Exploring the Space of Trading Semantics for LLM-Based Alpha Mining

Jingyang Yi 等｜arXiv（cs.AI；AI/金融双主题）｜PDF

论文以 Event、Context、Qualities、Direction、Output 定义因子语义空间，由 LLM 实现因子、代理模型引导探索。作者在中国股票市场报告较强预测与组合表现；这属于研究回测而非真实可交易证据，必须单列样本外、交易成本、冲击、容量、数据泄漏和多重搜索校正。仅依据摘要。

When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses

Zihan Chen、Di Zhu、Lei Nico Zheng｜arXiv（cs.CL）｜PDF

论文用 GSS 与 World Values Survey 的真实回答，和非 LLM 留出样本基线比较四种模型的“合成受访者”。它直接问替代何时失效，适合产品/政策调研；但人口模拟的平均贴合不保证少数群体、因果偏好或问卷情境也被保真。仅依据摘要。

StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents

Ads Dawson、Adrian Wood｜arXiv（cs.CR）｜PDF

StealthBench 将 11 个经核验的红队/漏洞轨迹扩展为 14 个 Docker 场景，按六类 OPSEC 维度测自动化攻防 agent 的隐蔽性。它有助于安全测量，但能力评估不得转为现实攻击指南；场景覆盖、环境检测信号和基准公开后的策略过拟合均是限制。仅依据摘要。

Multi-Agent Debate Strategies: Survey, Taxonomy, and Challenges

Quim Motger 等｜arXiv（cs.SE）｜PDF

综述 141 篇多 agent 辩论研究，按参与者、交互机制和达成协议方式建立三维分类。它适合设计空间盘点；综述分类不证明辩论一定提升正确率，成本、同源模型相关错误和裁判偏差仍需任务级对照。仅依据摘要。

The Alignment Target Problem: Divergent Moral Judgments of Humans, AI Systems, and Their Designers

Benjamin Minhao Chen、Xinyu Xie｜arXiv（cs.CY）｜PDF

该研究考察人们对人类行为、AI 行为及其设计者的道德判断是否不同，并把设计来源可见性纳入实验。它挑战“模仿人类即对齐目标”的前提；道德题的样本文化、情境措辞和外部效度限制其对产品政策的直接推论。仅依据摘要。

Bridging the Gap in Ophthalmic AI: MM-Retinal-Reason Dataset and OphthaReason Model toward Dynamic Multimodal Reasoning

Ruiqi Wu 等｜arXiv（cs.AI）｜PDF

作者提出含病史、主诉与多模态眼底信息的 MM-Retinal-Reason 数据和 OphthaReason，目标是超越视觉特征匹配的临床推理。医疗数据集能补足任务定义，但模型结果必须在机构外、前瞻环境和安全工作流中复核，不能成为诊断建议。仅依据摘要。

MEDIC: Comprehensive Evaluation of Leading Indicators for LLM Safety and Utility in Clinical Applications

Praveenkumar Kanithi 等｜arXiv（cs.CL）｜PDF

MEDIC 以五个维度寻找临床 LLM 在部署前的能力先导指标，强调静态医学考试和工作流执行的差异。它可帮助模型筛选，但“先导”与真实临床获益之间尚非因果保证，仍需独立临床验证、漂移监测和责任边界。仅依据摘要。

AgentMap: Joint Equivalence and Subsumption Discovery for Ontology Matching

Yiping Song、Jiaoyan Chen、Renate Schmidt、Hui Yang、Wen Zhang｜arXiv（cs.AI）｜PDF

AgentMap 将本体等价与从属关系合为 HOM 任务，用语义检索、层级搜索和多 agent 推理完成映射。作者主张突破只识别一种关系的系统；需与同预算的检索、符号和单模型基线公平比较，并检查 LLM 推理在领域本体上的可复核性。仅依据摘要。