每日 AI 论文简报｜2026 年 9 月 3 日
重点关注
1. 谁来评判评判者？中文安全问答基准与安全评判器评测
作者 Rui Yang、Shuang Huang、Junhua Liu、Ziqi Zhao、Qingzhong Yan、Yuhang Sun、Cong Liu、Guoping Hu、Rui Mei、Jing Shao
来源/分类 arXiv · cs.CR、cs.AI；核阅状态 已核阅公开 PDF（23 页）
它在问什么 中文安全问答评测中，模型本身和“判断模型是否安全”的评判器是否都可靠？论文特别关注经过改写、编码和隐蔽指令包装后的攻击是否会同时骗过目标模型与自动评判器。
怎么做 作者从 269 个政策风险点构造 538 条基础问题，并通过 21 种变换得到 8,877 条对抗问题；在 4 个目标模型上产生 37,660 条记录。标签不是简单的二分类，而是 safe、unsafe、disputed 三类：先由多个模型辅助裁决，再对分歧样本进行盲审专家复核。另测了 7 个自动安全评判器，并公布数据集与代码。
作者报告 全部记录中有 30,116 条安全、7,079 条不安全、465 条争议。四个目标模型的总体不安全率为 11.06%–28.43%；基础问题到对抗问题的不安全率分别从 0.93%→11.68%、1.12%→13.65%、1.86%→30.05% 和 3.35%→24.87%。这是不同问题组成之间的描述性差异，不应直接解释成单一变换的因果效应。自动评判器没有一个在召回率、误报率和 F1 上全面占优；acrostic 类攻击会显著压低所有评判器的不安全召回，平均不安全率达到 91.05% 的答案提取型变体尤其突出。
为什么值得看 它把“目标模型拒答能力”和“评判器识别能力”拆开，提醒我们安全排行榜可能同时受到标签流程、拒答率和攻击表面形式的影响。对安全系统而言，较高拒答率也不等于较高安全性：例如部分模型拒答很多，但仍可能在高可执行性违规上失守。
证据边界 参考标签仍大量依赖模型辅助，只有分歧样本进入不同强度的人工审查；没有专门的良性对照集，因此不能据此比较正常场景中的过度拒答。目标请求和完整裁决材料没有全部公开，变换后的问题分布也使“对抗导致风险上升”的因果解释不成立。
2. The Importance of Being Statistically Earnest：重新审视 GSM-Symbolic
作者 Dominika Agnieszka Długosz、Arlindo L. Oliveira、Natalia Díaz-Rodríguez
来源/分类 arXiv · cs.AI、cs.CL；核阅状态 已核阅公开 PDF（41 页）
它在问什么 GSM-Symbolic 中模板改写题目的准确率下降，是否足以推出“大模型缺少真正推理能力”？论文把问题改写成统计推断：这个下降在控制题目难度差异后是否仍显著，以及数字变大、变量绑定和输出格式等因素分别贡献多少。
怎么做 研究者复现 20 个开放权重模型在 100 道原题与 5,000 道模板变体上的结果，使用带题目模板随机效应的二项 GLMM，并对模板做 2,000 次 bootstrap。随后比较原始、自然语言、结构化自然语言和代码提示，并用每道题的数字位数负载刻画“大数字效应”。
作者报告 原始提示格式下，20 个模型中只有 8 个的变体效应达到统计显著。变体数据中的整数分布相对 GSM8K 原题显著偏大（K-S D=0.1201，p<0.001）；控制数字负载后，剩余显著案例约有一半失去显著性。对 8 个模型的替代提示实验中，5 个模型在四种替代格式下都不再显著；作者据此区分出变量绑定脆弱、算术能力限制、学习模式依赖和双任务干扰等模型特定画像。
为什么值得看 论文的核心贡献不是证明某个模型“会”或“不会”推理，而是把一个常被概括成单一能力结论的 benchmark drop 拆成可检验的统计与机制假设。它对 LLM 评测的直接提醒是：题目应被视为随机材料，显著性检验、数字分布和输出格式都不能省略。
证据边界 研究排除了 4 个专有模型和 1 个因技术问题未纳入的模型，结论只覆盖这 20 个开放权重模型与 GSM-Symbolic 题集。变量绑定等机制解释仍是行为层面的假设，不是机制可解释性证明；数字效应、污染和一般数学推理之间也不能互相替代。
3. UniACE：统一评估 LLM 智能体能力的框架
作者 Pengyu Zhu、Lijun Li、Yaxing Lyu、Qianxin Luo、Jingyi Yang、Yi Liu、Tingfeng Hui、Xinyu Yuan、Li Sun、Sen Su、Jing Shao
来源/分类 arXiv · cs.AI；核阅状态 已核阅公开 PDF（78 页）
它在问什么 不同智能体 benchmark 的接口、工具、环境快照、成功判定和成本统计各不相同，分数究竟是在比较模型，还是在比较评测配置？UniACE 尝试把这些差异放进同一个可复现的评测系统。
怎么做 框架把每项任务统一为 instruction–tool–environment 三元组，提供任务无关的执行骨架、隔离运行时、固定的动态资源快照、原生成功标准，以及步数、输入输出 token、时间和失败轨迹分类。作者在 7 个 benchmark、24 个领域、15 个模型上运行超过 40 万次 rollout，消耗超过 50 亿 token，并比较在线与离线资源。
作者报告 统一配置会改变绝对分数，甚至改变排名：例如 AgentBench 数据库任务中 GPT-3.5 从 36.7 变为 63.3、Llama 2 从 13.0 变为 55.5；tau-bench Retail 中 GPT-4o 从原报告 61.2 变为 28.7，而 GPT-3.5 从 20.0 变为 55.7。相同成功率也可能对应显著不同成本，部分任务中较弱模型多用数倍步骤、输入 token 和时间。在线与离线资源的分数也可能大幅不同，说明冻结快照并非无代价的中性操作。
为什么值得看 它把智能体评测的对象从“模型孤立分数”改成可审计的完整配置，尤其适合复核工具调用、浏览和多智能体实验。失败轨迹和效率维度也比单一成功率更接近真实系统成本。
证据边界 分数是模型、提示、工具和环境共同作用的属性；在线/离线差异来自资源可用性和语料变化，不能直接当作因果波动估计。部分结果是作者对既有 benchmark 的重新实现，评判器一致性虽做了抽样验证，仍有 LLM judge 与移植误差；统一框架本身也会改变任务接口。
4. Explore More, Drift Less：仅用结果信号也能训练长程交互智能体吗？
作者 Liming Pu、Xiaoxia Li、Yifu Liu、Teng Cao、Bin Yang
来源/分类 arXiv · cs.LG、cs.AI；核阅状态 已核阅公开 PDF（13 页）
它在问什么 长程交互任务常只有最终成败信号：全失败的 rollout 没有学习方向，全成功的 rollout 又没有继续优化的信号。CANOPY 研究在不添加中间奖励的前提下，能否通过更充分的同任务探索和更稳定的更新缓解这两个问题。
怎么做 方法扩大同任务 rollout 组到 32 条，严格执行一步更新、用 KL 锚定参考策略、只对动作 token 计算损失，并保留最难任务层级。训练主要使用 AppWorld 的 735 个任务（其中 90 个训练任务），另测试向 SWE-bench Verified 的迁移；作者还考察更长测试时预算。
作者报告 在 Qwen3-14B 的 AppWorld 配置中，CANOPY 在 Test-Normal 的单次总体任务完成率/子目标完成率为 86.9/80.4，在 Test-Challenge 为 67.6/50.4。严格 on-policy、扩大组大小、KL 锚定和最难层级的消融分别带来明显下降；例如去掉严格 on-policy 后匹配设置下的平均@4 从 79.5 降至 62.1，组大小降为 8 条时降至 63.1。Qwen3.5-9B 在 SWE-bench Verified 的匹配预算结果从基线平均@4 的 31.3 提升到扩大探索后的 50.2。
为什么值得看 它把“结果奖励太稀疏”转化为信号覆盖与策略漂移问题，给出不依赖人工过程标注的训练设计。消融实验也说明，性能提升主要来自训练动力学的组合，而不是简单增加推理预算。
证据边界 AppWorld 的训练池只有 90 个任务，SWE-bench 迁移还调整了 rollout 组大小与 KL 等设置；论文中的排行榜比较并非完全同骨干、同 harness、同采样预算。代码仓库链接已给出，但不同环境的复现实验仍需要固定版本、任务状态和推理预算，不能把该结果直接外推到所有长程智能体。
5. 扩散视觉语言模型的可靠性挑战
作者 Md. Atabuzzaman、Chris Thomas
来源/分类 arXiv · cs.CV、cs.CL；核阅状态 已核阅公开 PDF（16 页）
它在问什么 扩散式视觉语言模型（dLVLM）在幻觉、偏差、语言流畅度和答案长度敏感性上，是否与自回归模型具有不同的失效结构？论文试图把“看起来更流畅”与“真正视觉接地”分开评估。
怎么做 作者比较 6 个扩散模型和 7 个自回归模型，覆盖 POPE、CHAIR、FairFace，以及控制选项长度的多选问答；还分析扩散步数、早期提交 token 的置信度和最终答案之间的关系。FairFace 使用平衡的 7 个种族与 2 个性别分组，CHAIR 使用 500 张 MS-COCO 图像。
作者报告 部分 dLVLM 在 POPE 上有竞争力，但在 CHAIR、FairFace 和长度控制任务中出现不同的脆弱性：例如 Dream-VL 的 CHAIR-I/S 为 11.69/23.21，FairFace 上最好的自回归模型准确率为 69.32%，多数 dLVLM 明显落后；某些模型在紧裁剪下对特定种族接近零准确率。CUB 多选题中，LaViDa-D、LaViDa-L 和 MMaDA 在“较短答案正确”条件下的比例只有 2.80%、6.40% 和 12.80%，而较长答案正确比例接近 90% 以上。对 LaViDa-L，较少扩散步数可令语言错误从 3.0% 升到 87.6%，但幻觉变化很小；早期 commit/confidence 特征对幻觉的 AUC 最高约 0.699。
为什么值得看 结果说明单看 POPE 或整体准确率不足以判断 dLVLM 是否可靠：语言自然度、视觉幻觉、群体公平性和长度偏置可能沿不同方向变化。早期提交信号还可能成为推理时的风险预警特征。
证据边界 不能完全把差异归因于扩散解码本身，因为视觉编码器、模型规模和训练数据也不同；GPT-4o-mini 评判器没有人工标注校准，且论文只覆盖四类可靠性维度。FairFace 的不解析输出与裁剪设置也会影响比较，不能把单一测试集的群体差异直接当作现实部署风险率。
AI 论文
1. Computational Humor with Multimodal LLMs：方法、数据集、评测与挑战
作者 Tuo Liang、Zhe Hu、Disheng Liu、Jing Li、Yu Yin
来源/分类 arXiv · cs.CL、cs.AI、cs.MM；证据状态 仅依据摘要
要点 这是一篇综述，讨论多模态大模型对视觉幽默的识别、解释、推理和生成能力。作者认为幽默依赖非字面含义、文化背景和说话意图，现有评测容易被表面捷径、文化覆盖不足、叙事理解缺口和安全/版权问题干扰。摘要未给出统一的跨模型实验数字，因此应把它当作问题地图而非性能排行榜。
2. Agentic Large Language Models for Training-Free Neuro-Radiological Image Analysis
作者 Ayhan Can Erdur、Daniel Scholz、Jiazhen Pan、Benedikt Wiestler、Daniel Rueckert、Jan C. Peeken
来源/分类 arXiv · cs.CV、cs.AI；证据状态 仅依据摘要
要点 论文构建不训练专用模型的脑 MRI 智能体流程，由 GPT-5.4、Gemini 3.1 Pro 或 Claude Sonnet 4.6 调度现成工具完成去颅骨、配准、分割、体积计算和纵向推理，并比较单智能体与多智能体设计。公开 benchmark 以图像—提示—答案元组评估流程；摘要主张可在无需训练的情况下完成复杂分析，但没有在摘要中给出足以判断临床泛化的完整外部验证数字。
3. Who Judges the Judges？中文安全 QA 基准与 LLM 安全评判器
作者 Rui Yang 等
来源/分类 arXiv · cs.CR、cs.AI；证据状态 已核阅公开 PDF；重点结果见上文
要点 C-SafeQA 用基础问题与 21 种对抗变换覆盖中文安全风险，并把目标模型输出与自动评判器表现分开报告。论文的核心警示是：变换样本上的安全率、拒答率和评判器召回率不能被一个总分替代。
4. Benchmarking Vision-Language Models for Automated Pathology Diagnosis and Report Generation
作者 Yumi Lee、Harim Oh、Hyoryung Kim、Minji Kim 等 50 余位作者
来源/分类 arXiv · cs.CV、cs.AI；证据状态 仅依据摘要
要点 作者整理约 10,500 对来自 5 家机构的全切片图像—病理报告数据，并在 REG 2025 MICCAI benchmark 中比较预训练 VLM、MIL、层级式、检索式和跨模态方法。摘要称结构化报告、层级分解与视觉 grounding 能改善结果，但数字属性仍不稳定，模型可能生成过度具体的诊断；跨机构外部泛化和临床安全性不能由摘要结果确认。
5. The Importance of Being Statistically Earnest：重新审视 GSM-Symbolic
作者 Dominika Agnieszka Długosz、Arlindo L. Oliveira、Natalia Díaz-Rodríguez
来源/分类 arXiv · cs.AI、cs.CL；证据状态 已核阅公开 PDF；重点结果见上文
要点 论文用题目随机效应和 bootstrap GLMM 重新审视 GSM-Symbolic 的变体效应，并显示数字分布与提示格式会改变推断。应将其理解为评测设计与统计解释的复核，而不是对所有 LLM 推理能力的总判决。
6. Towards reliable multimodal disaster severity assessment through preference optimization and explainable vision-language reasoning
作者 Yuanjun Zhang、Fuzel Ahamed Shaik、Suvojit Acharjee、Fahad Khalid、Mourad Oussalah
来源/分类 arXiv · cs.AI；证据状态 仅依据摘要
要点 方法将监督微调与 DPO 结合，利用人工参与的 ReasoningSet 和 PreferenceSet 训练灾害严重程度判断及解释。摘要报告基线准确率由 73.64% 升至 78.29%，Macro-F1 提升 29%，解释指标提升 25%，并在 InternVL-3-8B 与 LLaVA-1.5-7B 间做迁移检验；数据划分、损失定义和跨灾种泛化仍需查看完整实验。
7. VoiceLongMemEval：助手记得你是怎么说话的吗？
作者 Ramit Pahwa、Parivesh Priye、Apoorva Beedu
来源/分类 arXiv · cs.AI、cs.LG；证据状态 仅依据摘要
要点 这是一个跨多会话的长记忆评测，显式测试语速、音高、停顿等副语言信息是否被助手记住。摘要称加入文本证据可带来 0.09–0.38 的提升、给出提示后达到 0.61–0.69；原生音频模型为 0.354–0.412，盲测为 0.325，说明 ASR 转文本可能丢失声音线索。代码和数据计划在接收后提供，当前不应视为已完成开放复现。
8. Can LLMs Use Relational Transformer Embeddings？
作者 Francisco Galuppo Azevedo、Clarissa Lima Loures
来源/分类 arXiv · cs.LG；证据状态 仅依据摘要
要点 论文把冻结的关系编码器 embedding 作为软 token 注入 Qwen3.5-4B，并比较 MLP、LoRA、SFT 与 GSPO 在 RelBench 10 个任务、6 个数据库上的表现。摘要报告混合方案常低于随机基线且 RL 结果不稳定；这是一个有价值的负结果，但其原因和对更多数据库/编码器的可迁移性仍需完整实验验证。
9. RestoreBench：AI 智能体能恢复电力潮流收敛吗？
作者 Riccardo Mansutti、Andrea Pomarico、Robert Jakob、Qian Zhang、Alberto Berizzi、Kevin O’Sullivan
来源/分类 arXiv · cs.AI、cs.SY、eess.SY；证据状态 仅依据摘要
要点 RestoreBench 用两个电网、共 46 个案例评测聊天机器人、单智能体和多智能体是否能修复电力潮流不收敛。它把工具调用与电力系统约束放到同一基准中，适合观察“能解释”与“能真正恢复约束满足”之间的差别；摘要未给出足够的基线数字来判断领先幅度。
10. Generative artificial intelligence for reliable mechanistic reasoning for corrosion
作者 Bharath M N、R K Singh Raman、Alankar Alankar
来源/分类 arXiv · cs.LG、cond-mat.mtrl-sci；证据状态 仅依据摘要
要点 作者用 840 篇论文构造 3,309 条专家问答，结合领域检索增强与微调模型解释镁腐蚀机制，并引入 Reason Map 命题图。摘要报告 Token F1 提升 143%–194%，faithfulness 0.964、context recall 0.988，还用外部文献与内部电化学趋势做盲验证；这些指标主要反映特定材料领域与检索设置，不能外推成通用科学推理能力。
11. UniACE：统一评估 LLM 智能体能力的框架
作者 Pengyu Zhu、Lijun Li、Yaxing Lyu、Qianxin Luo、Jingyi Yang、Yi Liu、Tingfeng Hui、Xinyu Yuan、Li Sun、Sen Su、Jing Shao
来源/分类 arXiv · cs.AI；证据状态 已核阅公开 PDF；重点结果见上文
要点 UniACE 把 instruction、tool、environment 和成功标准统一起来，同时记录效率与失败轨迹。它的实用价值在于让 benchmark 配置可审计，但统一接口也会成为实验变量，不能把框架分数当作只由模型决定的属性。
12. GuidedBench：测量并缓解野外 LLM 越狱方法的评估差异
作者 Ruixuan Huang、Xunguang Wang、Zongjie Li、Daoyuan Wu、Shuai Wang
来源/分类 arXiv · cs.CL、cs.CR；证据状态 仅依据摘要
要点 作者系统整理 37 项越狱研究，提出按案例提供评测指南的 GuidedBench/GuidedEval，以减少不同研究对成功标准理解不一致造成的方差。摘要称方差下降 76.03%；由于该结果依赖越狱集合、评判指南和评测器定义，不能直接当作所有安全评测的通用方差缩减率。
13. 扩散视觉语言模型的可靠性挑战
作者 Md. Atabuzzaman、Chris Thomas
来源/分类 arXiv · cs.CV、cs.CL；证据状态 已核阅公开 PDF；重点结果见上文
要点 论文跨 POPE、CHAIR、FairFace 和长度控制问答比较 6 个扩散模型与 7 个自回归模型，显示幻觉、语言错误、群体偏差和长度偏置并不共变。部署前至少应分别测试这些维度，而不能只看一个 VQA 分数。
14. Agentic Multimodal Models for Environmental Hyperspectral Unmixing
作者 Michał Cholewa、Luca Ciampi、Nicola Messina、Przemysław Głomb、Giuseppe Amato
来源/分类 arXiv · cs.CV；证据状态 仅依据摘要
要点 论文让工具调用型 LVLM 在 HYDICE Urban、Jasper Ridge 和 Stonewall 数据集上迭代一个模块化光谱解混流程，尝试让模型根据中间诊断选择和修正算法。摘要强调 agentic refinement 的方向，但没有在摘要中给出可独立核对的跨数据集收益表；匿名代码也意味着复现链路尚未稳定。
15. Explore More, Drift Less：仅用结果信号也能训练长程交互智能体吗？
作者 Liming Pu、Xiaoxia Li、Yifu Liu、Teng Cao、Bin Yang
来源/分类 arXiv · cs.LG、cs.AI；证据状态 已核阅公开 PDF；重点结果见上文
要点 CANOPY 的关键信号是同任务探索覆盖与策略漂移控制；去掉严格 on-policy 或把组大小降到 8 条都会明显损失。它在 AppWorld 上的结果较强，但训练任务规模、迁移调参和排行榜可比性仍是外推前的主要检查项。
16. ARISE-RL：基于智能体量规的迭代自进化强化学习
作者 Fanrui Zhang、Ruixue Ding、Qiang Zhang、Xi Chen、Boli Chen、Shihang Wang、Qiuchen Wang、Hongmin Zhan、Jinxin Bian、Lixingchao Li、Peijin Zheng、Hao Cheng、Pengjun Xie、Kaipeng Zhang、Jiawei Liu、Zheng-Jun Zha
来源/分类 arXiv · cs.AI；证据状态 仅依据摘要
要点 ARISE-RL 让生成器和求解器围绕 rubric 共同演化，并提出 RG-SED 与 ECR-Bench 进行迭代评测。摘要声称取得 state-of-the-art，但没有展示足以比较不同骨干、任务难度和采样预算的细节；应先核对 rubric 泄漏、训练/测试污染和多次尝试成本。
17. Separating perception from reasoning in vision-language models：晶体结构的无模型渲染上限
作者 Can Polat、Mustafa Kurban、Erchin Serpedin、Hasan Kurban
来源/分类 arXiv · cs.CV、cond-mat.mtrl-sci、physics.chem-ph、quant-ph；证据状态 仅依据摘要
要点 论文提出不依赖具体模型的 render ceiling，把晶体结构的视觉感知上限与语言推理分开，在 2,160 个结构和 14 个 VLM 上比较。摘要称提供精确几何文本后，13 个模型仍有不到一半的差距可被弥合，而监督视觉模型达到 0.8952；这一结论仍受渲染协议、结构分布和答案格式影响。
18. It Takes Two to Match：与生成式检索器共同进化
作者 Runpeng Dai、Kaili Huang、Changsung Kang、Ciya Liao
来源/分类 arXiv · cs.IR、cs.CL；证据状态 仅依据摘要
要点 CoGR 让查询侧与物品侧关键词生成器共同进化，用 SFT 加 co-evolving GRPO 优化生成式检索，在 APP Marketplace 与 WANDS 上报告 F1 分别提升 10.9% 和 36.1%。摘要未说明提升是否在相同检索预算、候选规模和去污染设置下成立，因此不能只凭增幅判断生产搜索收益。