每日 AI 论文简报（2026-10-28）
重点关注
Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis
全文核读。 作者：Jian Yang、Peilin Liu、Xiaohan Li 等。
- 核心问题： 增强型 LLM 的罕见病诊断分数有多少来自候选病例泄漏、机构分布过拟合、病历中的事后治疗线索和知识库时间错位？
- 方法与基线： 作者使用逾 60,000 个病例，重建 DeepRare 智能体并以 DeepSeek-V4-Flash 运行；把常见 one-vs-rest 检索与严格隔离测试集的设置比较，也比较线性、XGBoost 和 MLP 分类器的内部与外部队列表现。独立临床队列来自中国两家三级医院。
- 作者报告的结果： 跨队列 Recall@1 从 one-vs-rest 的 54.3% ± 18.2% 降至严格隔离下的 40.3% ± 11.1%；监督分类器的平均准确率从内部 42.9% 降至外部 16.7%。这是作者对其队列和复现实验的报告，不代表所有临床 LLM 的普遍降幅。
- 创新、限制与复现： 论文把候选空间隔离、跨数据集 PMID 去重和回顾性线索审计纳入同一评测框架。原研究使用的参考病例库并非完整公开；两家临床队列都来自中国，专有模型训练语料的污染程度也无法完全测定，因此结论应理解为评测脆弱性的证据。作者公开了本研究代码。
- 适合谁读： 临床 AI、RAG 与基准设计研究者。建议先读系统复现和队列隔离方法，再看外部验证、文本线索消融和局限章节。
Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation
全文核读。 作者：William Caban。
- 核心问题： 智能体评测从任务构造、模拟器到自动评分，测量效度如何逐层损失？
- 方法与基线： 提出总效度上界模型 V_total ≤ V₁×V₂×V₃，并检查 5 种基准配置及 55 篇智能体评测论文；四位独立评审复核评分者一致性指标。这里的主要比较对象是评测设计和统计量选择，不是模型能力排行榜。
- 作者报告的结果： 论文估算若三个环节各保留 70% 效度，端到端有效信号最多约 34%（估计范围 17%–54%）；55 篇目的性样本中约 82% 的论文使用了与评分设计不匹配、不完整或缺失的评分者一致性指标；10 个常用基准中有 7 个被判定存在任务效度缺陷。以上比例是作者的审计结果，不能直接外推到所有基准。
- 创新、限制与复现： 把任务效度、模拟器校准和自动判分可靠性分开审查，并公开了复现代码。文中三层相乘是知识驱动的上界框架；文献样本为目的性抽样，指标阈值也依后果领域而变，不能把 34% 当成某个基准的实测准确率。
- 适合谁读： 智能体基准作者、LLM-as-judge 使用者和采购评测团队。建议读模型假设、55 篇审查的编码方法、案例计算和分级可靠性建议。
PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites
全文核读。 作者：Yijie Hu、Wei Li、Junjie Zhou 等。
- 核心问题： LLM 智能体能否处理需要自行检索证据、比较技术特征并撰写专业文件的专利工作流？
- 方法与基线： 基准包含 510 个实例、8 类任务，覆盖新颖性检索、自由实施分析、无效检索、权利要求对照、专利撰写、审查意见答复和翻译等；比较 7 个模型与 4 种 agent harness，使用任务专属召回率、F1 和专家审阅 rubric。检索代理可调用商业专利搜索 MCP，rubric 任务由 GPT-6-Sol 评判。
- 作者报告的结果： Claude Opus 5 + Hermes 的八任务平均分最高，为 52.8/100；设计专利 FTO 的 Recall@200 在所有配置中都低于 4，说明视觉检索仍很弱。模型和 harness 的排序会随任务及组合改变，不能把单一平均分当作模型固有能力。
- 创新、限制与复现： 相比只给候选材料的问答测试，它要求系统自行找证据并覆盖完整工作流。商业检索工具、部分模型与评判器形成依赖，Opus 与 Codex 配置也不兼容；论文主分数未统一计入调用成本。公开专利可能与模型训练语料重合，文中未见专项污染审计；当前文章未提供直接公开的 benchmark 代码链接。
- 适合谁读： 法律科技、专利检索和 agent 工具链评估人员。建议读基准构造、模型与 harness 对照、设计 FTO 失败案例及各任务指标定义。
RobotAgentBench: Towards Open-world Robot Autonomy
全文 HTML 核读。 作者：Lingjun Mao、Jinglin Cao、Lukun He 等。
- 核心问题： 机器人基准能否同时测出任务发现、上下文理解、操作、失败恢复和开放式家务完成，而不只测试孤立的抓取动作？
- 方法与基线： 作者以真实家庭房间构建 Isaac Sim 场景，扩成 50 种布局，包含 90 个原子任务、18 个短任务、8 个长任务和 4 种开放式情境；比较 8 个 VLA、3 个 WAM 基线及 5 类 agent 架构。agent 对照统一使用 GPT-6 Astra 编码代理，部分配置再调用学习到的 VLA 执行器，并在 AgiBot G1 上做有限实机对照。
- 作者报告的结果： 代码规划/策略/验证架构整体优于单独 VLA/WAM；Codex 配置的任务平均分从仿真 34.2 降至实机 31.9，开放式场景分从 8.7 降至 6.0。这个落差说明仿真得分不能直接等同真实自主能力。
- 创新、限制与复现： 基准把规划、执行和恢复放进同一闭环，并公开了代码、模型和项目页。场景仍围绕一个家庭构建，实机测试只覆盖部分任务；agent 排名受 GPT-6 Astra、工具配置和生成轨迹影响，论文未提供统一算力/成本对照。
- 适合谁读： 具身智能、机器人评测和仿真到现实迁移研究者。建议读场景构建、五类能力评分、开放式场景结果及实机对照。
AI 论文
Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis
作者：Jian Yang、Peilin Liu、Xiaohan Li 等。作者用病例库重建 DeepRare，并比较病例隔离前后的诊断结果；这是评测协议审计，不是前瞻性临床试验。内部与外部队列差距提示迁移风险，原始病例可访问性和医院地域范围限制复现及外推，详见重点关注。
Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation
作者：William Caban。作者将任务、模拟器与裁判可靠性拆成三层效度，并审计 55 篇评测论文；摘要报告约 82% 的目的性样本没有采用与设计匹配的评分者一致性统计。该结论依赖样本选择与编码规则，适合视为评测风险清单，而非所有智能体基准的普查结果。
LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG
作者：Yijia Zheng、Marcel Worring。仅依据摘要。 方法把多步 RAG 的自然语言子查询换成单次前向生成的潜在 token，并与稠密检索联合优化；作者报告 7 个基准上效果接近显式 agentic RAG、推理延迟约降 90%。摘要未给出硬件、延迟分布、各任务基线差异或训练数据污染审计，速度结果仍需全文核对。
GPT4o-Receipt: A Dataset and Human Study for AI-Generated Document Forensics
作者：Yan Zhang、Simiao Ren、Ankit Raj 等。仅依据摘要；AI/金融双主题，重点是 AI 文档鉴伪。 研究以 1,235 张真实与 GPT-4o 生成的收据图像，比较 5 个多模态模型和 30 名人类标注者；作者报告模型可用算术错误线索检测部分伪收据，人类能看到视觉瑕疵却更难完成二分类。生成收据与有限来源数据可能限制向其他票据和真实欺诈场景外推。
Agentic AI Empowered Intent-Based Networking for 6G
作者：Genze Jiang、Kezhi Wang、Xiaomin Chen、Yizhou Huang。仅依据摘要。 提出由编排器协调 RAN 与核心网专家代理的 ReAct 工作流，将自然语言网络意图转为网络切片配置；作者称其在多种场景胜过单体代理、规则系统和直接提示。摘要未给样本规模、定量提升、故障安全率或同模型同工具的完整对照，部署价值仍待复核。
S$^2$-RL: Sample-Set Dual Reinforcement Learning for Generative Semantic Segmentation Dataset Distillation
作者：Haoyu Wang、Fei Zhou、Qingqing Qiu 等。仅依据摘要。 论文用扩散模型生成分割训练样本，并以 GRPO 同时奖励单样本语义对齐/类内差异和样本集语义多样性，在 ADE20K 与 COCO 上与既有蒸馏方法比较。摘要只称持续提升而未给数值、生成质量基线或算力开销；数据合成是否保留罕见结构也需全文验证。
PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites
作者：Yijie Hu、Wei Li、Junjie Zhou 等。基准将专利检索和起草拆为 8 类专业任务，比较模型与工具框架；当前系统在设计专利检索等任务上仍有明显失败。专家 rubric、商业搜索服务和模型裁判影响可复现性，详见重点关注。
Collective Emergent Alignment: Measuring and Amplifying Interaction-Induced Reasoning Alignment in Multi-Agent LLMs
作者：Boxuan Wang、Zhuoyun Li、Sarvapali D. Ramchurn 等。仅依据摘要。 REMAP 在两个多跳推理基准上，把多代理交流与匹配的单体自我改进比较；作者报告交互带来额外证据覆盖，压缩成事实级消息可减少通信开销。摘要未列出绝对分数、模型/提示控制和 token 成本，交互收益及可复现性仍需全文核验。
RobotAgentBench: Towards Open-world Robot Autonomy
作者：Lingjun Mao、Jinglin Cao、Lukun He 等。作者建立包含长程家务和失败恢复的实机相关基准，比较单独控制策略与 agent 架构；仿真与实机得分存在落差，开放式任务仍难可靠完成。单一家庭和有限实机集是主要外推边界，详见重点关注。
MIS-VQA: An Annotation-Driven Surgical Vision-Language Dataset for Complex Surgical Understanding
作者：Mohamed Hamdy、Iheb Zouari、Fatmaelzahraa Ahmed 等。仅依据摘要。 论文把 EndoVis18 与 CholecT50 的手术阶段、器械和分割标注转换成多层视觉问答，并训练 LLaVA-SurgXpert；作者报告其超过既有手术 VQA 基线，但未在摘要给出提升数字。由标注生成的问题可能主要测量对标注结构的拟合，不能直接证明手术中的临床推理能力。
Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
作者：Haoyu Zhao、Sitian Tu、Yuxuan Huang 等。仅依据摘要。 CLE 由 50 多名领域专家构造 120 项任务、600 个递进关卡，覆盖 89 种职业；17 个模型与 harness 配置中，失败反馈加一次修订使完成率中位数提高 5.3 个百分点，但最佳系统仅通过 47.7% 关卡、完整走完任务链的比例为 23.3%。这是专家构造的工作流基准，单次评测不足以证明长期真实岗位学习效果。
A Comprehensive Framework for All Stages of Large-Model Training: From Data and Tokenization, through Pretraining, to Post-Training Alignment
作者：Xiangjing An、Zhibin Jiao、Aiting Chen。仅依据摘要。 这篇综述以数据、目标、优化、系统约束、评测及风险治理六个维度整理 2017–2026 年 395 篇研究，讨论预训练与后训练之间的相互影响，并提出开放问题。其贡献是概念组织与文献地图，不是统一协议下的新模型实验；79% 同行评审文献的统计取决于作者收录口径。
TIAgent: From Natural Language to Grounded Agentic Workflows for Computational Pathology
作者：Aakash Madhav Rao、Mark Eastwood、Danielle Belgrave、Fayyaz Minhas。仅依据摘要。 TIAgent 将自然语言要求编译成可检查的计算病理工作流图，作者在 90 项单元任务、18 类操作和 14 个基础模型上评测，Kimi-K2.7-Code 的单元工作流成功率为 0.967（95% CI 0.907–0.989）。结果针对预设操作库的单元任务，不等于端到端病理发现或临床效用。
HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents
作者：Qianchu Liu、Sheng Zhang、Guanghui Qin 等。仅依据摘要。 基准包含 9 类、75 个原始医疗数据工作流任务；对 6 个 agent 做 450 次单次尝试，摘要报告成功率为 32.0%–57.3%。单次尝试和模型/执行环境组合限制排名解释，临床安全性并未由任务成功率直接验证。作者提供了基准代码。
Towards Generalist Game Agents: A Survey of Foundation Models in Virtual Worlds
作者：Kuan Zhang、Dongchen Liu、Qiyue Zhao 等。仅依据摘要。 综述按数据、模型、harness 与基准四个支柱梳理游戏智能体，并提出从单游戏熟练走向创建世界的路线图。文章是研究框架和观点综述，摘要没有新实验或可量化的跨游戏泛化结果。
Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks?
作者：Spandan Garg、Vikram Nitin、Yufan Huang。仅依据摘要。 作者将 Qwen3-4B 通过 SFT 与 RL 后训练为终端执行子代理，报告在 SWE-Bench Pro 和内部 C# 基准上，主代理 token 使用最多减少约 30%，而任务表现未下降。当前无法核对完整实验；内部基准、LLM 裁判、模型/代理并非完全同构，摘要也没有统一硬件、美元成本或重复运行方差。
How well are open sourced AI-generated image detection models out-of-the-box: A comprehensive benchmark study
作者：Simiao Ren、Yuchen Zhou、Xingyu Shen 等。仅依据摘要。 作者对 23 个预训练检测器变体、12 个数据集、260 万张图像和 291 个生成器做零样本比较；摘要报告平均准确率最佳与最差相差 37.5 个百分点，检测器跨数据集排序相关仅 0.01–0.87，面对若干新商业生成器时准确率仅 18%–30%。训练数据与目标生成器分布对齐会明显改变表现；该榜单不是未来生成器上的保证。
When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing
作者：Lei Zhao、Zongheng Cao、Xinyu Hu。仅依据摘要。 在四类视频剪辑任务中，衰减过程奖励对平均超过 60 轮的 Fine Cut 相较仅终局奖励 GRPO 带来 45.4% 相对提升；短任务提升最多 10.4%，固定权重则出现冗余调用和奖励投机，衰减权重缓解了该现象。结论依赖特定任务、LLM 裁判及奖励设计，不能直接推断到其他工具环境。