每日 AI 论文简报｜评测污染、数据审计与真实场景的智能体

重点关注

1. 运行现场的 RAG，增益主要来自重排序而非“智能体”叙事

A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility｜Rajat Sainju 等｜arXiv（physics.acc-ph / cs.AI / cs.IR）｜PDF

• 核心问题与方法。 面向 APS 加速器设施分散在日志、维基、工单和控制系统中的运维知识，作者部署 APS-RAG：稠密、稀疏与知识图谱检索经按查询类型自适应的 RRF 融合，再接纠错式 agent 循环和 MCP 工具层的 ReAct 执行器。APS-Bench 有 50 个带可审计标准答案的问题；朴素 BM25 是关键检索基线。
• 作者报告的结果。 已核对 PDF：各 RAG 变体的严格 vital-nugget recall 从 BM25 的 63.8% 提升至 65.5%–70.3%，完整 corrective Agentic GraphRAG 为 70.3%。移除 cross-encoder、由 LLM 判断相关性时，recall 下降 32.8 个百分点（95% CI −47.4 至 −19.1，p<10⁻⁴）；图谱通道与纠错循环的边际提升则较小。
• 创新、限制与适读者。 价值在于把“上线系统”与可审计问题集、消融和误差层级一起交付，而非只报聊天体验。50 题规模小、场景高度专用，且收益集中于重排序，不能据此推断 agent 循环在其他知识库必然有效。适合 RAG 平台、科研设施和企业检索团队；建议先读摘要、评测定义与消融实验章节，再看部署架构。

2. 动态基准并不天然免于训练数据污染

Novel Claim or Déjà Vu? Rethinking “Contamination-Free” Dynamic Evaluation for Multimodal Automated Fact-Checking｜Haorui He 等｜arXiv（cs.CL / cs.AI / cs.MM）｜PDF｜DOI

• 核心问题与方法。 作者检验“知识截止日后发布的事实核查声明即未污染”这一常见假设，在静态 AVeriTeC 与新建 ClaimReview2025Q4 上分析模型可否靠截止日前公开知识直接或组合回答，并在控制污染后复测多模态事实核查系统。
• 作者报告的结果。 已核对 PDF：17.09%–29.30% 的截止日后声明仍可能被污染；污染会让 Macro-F1 最多虚高 11.34 点并改变系统排名。论文报告了 16 项发现，但这些数值是该数据构造、模型与污染判定规则下的结果，不是所有动态评测的统一误差率。
• 创新、限制与适读者。 它把“发布日期”与“信息是否可由既有知识推得”拆开，直接击中评测设计。污染识别仍依赖可观察的公开证据与研究者规则，无法证明所有模型训练语料；且聚焦 MAFC，外推到代码、推理等任务须再验证。适合 benchmark 作者、评测工程师与安全研究者；优先阅读污染定义、重评测协议和附录的案例规则。

3. 用预测影响而非语义相似度审计偏好数据

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation｜Yunting Song 等｜arXiv（cs.LG / cs.AI）｜PDF

• 核心问题与方法。 作者针对对齐数据中的隐蔽标签冲突，构造不必反复训练模型的推断式数据估值流程：把语义 k-NN 邻域映射到有向图，以参考 LLM 的 zero-/one-shot 条件对数似然变化近似样本影响，再用局部优势指标定位梯度冲突记录；比较对象是语义去重、LLM-as-a-judge 和人工复标的常见路径。
• 作者报告的结果。 已核对 PDF：在 HelpSteer2 上，流程把人工审计搜索空间缩小 99.1%，并发现多类错标；在 HH-RLHF 训练与评测切分中识别出数千个安全与事实偏好倒置。这里的“发现”首先是该管线对参考模型概率分布的诊断，不能自动等价为全部标签的客观真值。
• 创新、限制与适读者。 该方法的工程吸引力是把数据质量检查从语义重复提升到功能影响；但参考模型、近邻图、阈值和人工核验协议都可能改变结论，论文未证明其跨语言、跨模型的稳定性。适合对齐数据负责人和评测维护者；建议先读方法定义、HelpSteer2 审计案例及局限章节，并复跑人工复核抽样。

4. 恶劣天气下先测“看得是否可靠”，再测决策

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness｜Qiao Yan 等｜arXiv（cs.AI）｜PDF｜代码与数据（作者声明将发布）

• 核心问题与方法。 该工作用相机、LiDAR、雷达同步输入构造真实恶劣天气自动驾驶基准，围绕可观测性意识、空间可靠性与风险感知决策三种能力组织多选任务；模型则以常态天气监督微调和恶劣天气强化学习提升鲁棒性。
• 作者报告的结果。 仅依据摘要：基准含超过 1.4 万训练题与 1.3 万测试题，现有视觉语言模型在恶劣天气中一致退化，ObsDrive 在三个能力维度上改善。PDF 已打开但文本提取失败，因而不报告未核实的具体模型、基线或增幅。
• 创新、限制与适读者。 贡献是把“传感器不可靠”作为评测对象，而不是只把天气当图像扰动；但多选题与离线评测不能替代闭环驾驶安全验证，数据地域与传感器配置也会限制迁移。适合自动驾驶感知、VLA 评测和安全团队；优先读任务标注、数据切分和恶劣天气泛化实验。

AI 论文

以下按候选清单完整收录 18 篇；除上文标明“已核对 PDF”的三篇外，其余条目均仅依据作者公开摘要，作者报告的结果不代表独立验证。

评测、对齐与安全

EvalSafetyGap: A Hybrid Survey and Conceptual Framework for LLM Evaluation-Safety Failures｜Buğra Alperen Ulurmak、Rifat Kurban｜arXiv（cs.AI / cs.CL / cs.LG / cs.SE）｜PDF

研究基准分数、奖励信号为何可能与真实能力或对齐性质脱钩。作者综合 2018–2026 年 373 项研究，提出八流证据分类、Goodhart 式不稳定性分解和对齐三难困境，并做十模型公开证据审计。值得把能力、行为鲁棒性和治理披露分层报告；限制是综述与概念框架不能本身证明因果，且“证据层”编码可能有主观性。仅依据摘要。

Child-Oriented AIGC Video Risk Reviewing: A Benchmark and Knowledge-Supported Iterative Reasoning Framework｜Lewen Mi 等｜arXiv（cs.CV / cs.MM）｜PDF

研究成人导向审核遗漏的儿童 AIGC 视频隐性、语境依赖风险。作者以多平台 605 个真实视频建立含 6 个大类、26 个细标签的 CAVSR，并以多智能体结合专家与经验知识获取证据；论文报告其框架改善了视觉语言模型的审查与报告鲁棒性。关注点在标注伦理、跨文化适用性与真实上线的误报/漏报成本；未给出独立复现前，不应把“改善”视为部署结论。仅依据摘要。

Artificial Intelligence for Mathematical Reasoning: An Integrated Survey of Language Models, Neuro-symbolic Systems, and Verified Discovery｜Syed Rifat Raiyan 等｜arXiv（cs.AI / cs.CL / cs.CV / cs.LG）｜PDF｜伴随资料

该综述梳理文本与图形非形式推理、证明助手中的形式推理、数学发现，以及 CoT、工具、过程奖励与 RLVR。作者特别区分 pass@1、投票与验证器辅助的 pass@k，并讨论污染、鲁棒性、奖励投机和推理能耗。它适合建立评测口径，但不是新模型实证；读者仍需检查各基准的数据泄漏与验证器假设。仅依据摘要。

τ-Rec: A Verifiable Benchmark for Agentic Recommender Systems｜Bharath Sivaram Narasimhan、Karthik R Narasimhan｜arXiv（AI）｜PDF

研究多轮推荐智能体如何避免主观且昂贵的 LLM-as-a-judge 评测。作者用结构化目录谓词、逐步揭示约束的 RTE 机制和 pass^k 可靠性度量来验证任务完成。价值在于将“推荐是否合规”变成可检验目标；限制是可验证的目录任务未必覆盖真实用户偏好、长期满意度或反馈循环。仅依据摘要。

SafeCRS: Personalized Safety Alignment for LLM-Based Conversational Recommender Systems｜Haochang Hao、Yifan Xu、Xinzhuo Li、Yingqiang Ge、Lu Cheng｜arXiv（AI）｜PDF

论文提出对话式推荐会从会话中隐含推断创伤、自伤史或恐惧症等个体安全约束却未加尊重的问题，并构建 SafeRec 基准评估。其意义是把推荐准确率和个体化伤害风险并列；不过敏感属性推断本身会带来隐私、误推断与默认保护边界问题，安全标签也需专家持续校验。仅依据摘要。

TRIDENT: Benchmarking LLM Safety in Finance, Medicine, and Law｜Zheng Hui、Yijiang River Dong、Ehsan Shareghi、Nigel Collier｜arXiv（AI）｜PDF

研究金融、医疗、法律等高风险领域中“性能提升”之外的安全与合规风险。作者据 AMA、ABA 与 CFA 的职业原则定义领域安全原则并提出 Trident-Bench。它提醒部署者不能用通用能力分数代替领域流程控制；但职业准则的映射、辖区差异和基准题目与真实责任链之间仍需独立审计。仅依据摘要。

Agentic Permissions Policy Algebra for Taint Confinement in LLM Agents｜Arseny Kravchenko、Vadim Liventsev、Innokentii Konstantinov、Ildar Iskhakov、Matvey Kukuy｜arXiv（cs.AI）｜PDF

该文针对 prompt injection 和推理错误下的混合保密数据，提出 APPA 信息流控制框架：由引擎管理上下文分支，并在获取数据前检查标签降级和前置权限。关注价值是把权限控制前置到工具获取而非仅靠提示词；限制在于形式策略的正确性不保证工具实现、身份系统和外部数据源同样可信。仅依据摘要。

MulRobBench: A Decision-Level Benchmark for Safe and Security-Policy-Compliant Multimodal UAV Agents｜Belal S. Alsinglawi 等｜arXiv（AI）｜PDF

作者构建离线、协议条件化的 VLA 无人机智能体基准，将真实多模态观测、规则约束与行动风险耦合，检验城市空域中的决策而非单点感知。它对物理世界 agent 评测有价值；但离线基准无法替代实时飞控、通信中断和法规责任下的闭环安全认证。仅依据摘要。

系统、检索与多模态

The Hitchhiker’s Guide to Agentic AI: From Foundations to Systems｜Haggai Roitman｜arXiv（AI）｜PDF

这是一部覆盖 transformer、GPU、微调、推理优化、对齐、规划、记忆、工具、评测与生产部署的实践型参考书。其价值是强调 agent 成败取决于整条管线而非单个模型；但它属于综合性材料，具体工程取舍仍要回到工作负载、可观测性、权限和成本数据。仅依据摘要。

ERUnderstand: Evaluating Vision-Language Models on Structured ER Diagrams｜Ali Ansari 等｜arXiv（cs.AI）｜PDF

研究把渲染成图的实体关系图转成可理解的结构化模式。作者建立 2,960 张图的基准，覆盖教育、真实与合成 schema、不同记法和 EER 构造，并配标准机器可读表示做细粒度评测。数据库工程助手可据此获得更贴近任务的测量；但合成占比、图表来源许可和从图理解到安全 schema 修改之间仍有距离。仅依据摘要。

MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning｜Shaofei Lei｜arXiv（cs.CV）｜PDF

该文提出多层视觉特征门控、问题条件 token 路由、蒸馏与空间多样性正则，以减少高分辨率多模态模型的 token 和首 token 延迟。摘要列出约 80% token 减少、均分升 2.2 点等数字，但作者明确说明其均为论文组织与实验设计的占位结果、尚无正式训练。因此它只能作为待验证的设计方案，不能视为性能证据。仅依据摘要。

RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning｜Xi Chen 等｜arXiv（AI）｜PDF

作者尝试让多个 LLM 的分歧服务于罕见病从早期线索到诊疗链的决策支持，而非只做孤立诊断。关注点是把模型差异显式纳入工作流；限制是医学应用必须有临床前瞻验证、隐私治理与人工终审，摘要中的系统描述不构成诊疗建议。仅依据摘要。

SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents｜Hang Ni、Weijia Zhang、Fan Liu、Mengqian Lu、Hao Liu｜arXiv（AI）｜PDF

论文面向从预警到行动的极端天气链条，试图以经验支撑的 LLM agent 连接原本孤立的科学任务。它值得关注于端到端运营视角；但预警系统的价值取决于历史回测、区域外泛化、延迟、误报阈值与人类应急执行，摘要不足以支持实际预警采用。仅依据摘要。

Spatial Reasoning in LLM Game Agents: Impact of Causal Context and Multi-Step Planning｜Mohit Jiwatode 等｜arXiv（AI）｜PDF

作者用 Qwen3 系列，在模型规模、推理模式与规划长度变化下测试因果提示和多步规划是否改善游戏 agent 的空间推理，并建三款自定义游戏、五级难度的 GVGAI 测试。适合分析规划与延迟的权衡；但自定义游戏的胜率未必迁移到开放世界、工具调用或真实机器人任务。仅依据摘要。