每日 AI 论文简报|推理评测、长视频 Agent 与动态时序证据
重点关注
谜语评测把“找到答案”与“确信答案”拆开
论文:The Metacognitive Bottleneck(arXiv:2509.14704)
全文状态:已核阅公开 PDF。
核心问题不是泛化地给 LLM 排“推理能力”名次,而是它能否完成需要重构表征的洞见型问题,并在候选答案出现后正确验证、停止。作者以 201 道日语儿童谜语建立 NazoNazo,120 题子集由 126 名受试者给出人类参照;38 个 2023–2025 年模型在无检索、零样本协议下与之比较。作者报告:人类均值 52.9%,非推理模型 7.6%、推理模型 17.6%;全 201 题的群体准确率为 9.42% 与 19.25%,且可用思维日志中 5%–39% 的错误属于曾产生正确候选却未采纳的“验证失败”。创新在于将生成和终止/校验分开计量,并提供可轮换的低污染评测。局限是日语双关、文字拆解和文化熟悉度并不代表全部推理;思维日志也不必然忠实于内部过程,不能据此宣称模型有主观元认知。适合评测、推理可靠性和训练数据治理读者;建议读摘要、§1–2、结果表 1–2、§讨论与局限。
手术长视频:冻结视觉模型也可通过可审计检索链提升
论文:MedClaw(arXiv:2608.14015)
全文状态:已核阅公开 PDF;项目页。
论文处理几十分钟手术视频的“前后/跨阶段”问答:文本编排器决定查看、裁剪、帧检查和知识检索,冻结的视觉子 agent 执行;再以约 100 个标注例的无梯度、奖励门控技能蒸馏保留可复用的 directed re-look。MedClawBench 有 1,123 题(259 道神经外科长视频、864 道留出的教学视频);对比 one-shot VLM、视频推理模型、长视频 agent 与手术模型。作者报告在神经外科集四维均分为 2.90,较最强开源视频模型 2.14 高 0.76;同一视觉骨干下各维增益为 0.17–0.56,去除 directed re-look 降 0.38。重点价值是把增益归因到工具轨迹而非偷偷微调;但神经外科录制数量和题量有限,自动评审虽与专家有较高一致性,也不能替代临床安全验证或诊疗效用。适合医疗视频、长程 agent 与审计系统读者;建议读 §方法、表 II–VI 和 §局限。
活体时序基准:高分不等于会做归因和预测
论文:TimeSage-EV(arXiv:2608.14270)
全文状态:已核阅公开 PDF。
作者将每期新发布的数据和报告视为可变证据环境,构造覆盖 6 个领域、60 个机构场景、1,485 个场景—期问答的月度更新基准,并比较带检索、记忆、代码执行的 smolagent 与自演化技能库版本。六个模型在温度 0、32,768 token 输出预算、20 步/2,700 秒限制下运行;评测关键点正确/覆盖、报告忠实度与质量。作者报告 GPT-5.4 总分 86.0、Qwen-3.5 84.2、Sonnet-4.6 82.4;最难题最高仅 72.7,最佳归因与预测分又仅 46.7、43.0,而 token 总量在模型间超过 4 倍。它直接暴露截止时间误用与长期上下文漂移;但 Judge、来源选择、24 个测试期和聚合时间序列限制了可复现与领域外推,分数不能等同真实预测收益。适合宏观/运营时序 agent 的读者;建议读 §3 数据构造、§4.2 协议、表 2、失败模式与局限。
无标签持续学习:教师一致性可作代理,但不是金标准
论文:Evaluating Agentic Learning Harness Capabilities Without Labels(arXiv:2608.13608)
全文状态:已核阅公开 PDF。
论文研究缺少新鲜人工标签时,如何评估带检索/记忆的持续学习 harness。方法以更强教师对较小学生做稀疏纠正,衡量学生向教师收敛的幅度,并与保留的 gold 标准改进对照;还比较同级 LLM-as-a-judge。作者报告在安全任务、模型族和 harness 设计中,教师相对提升与保留金标准提升相关,而能力相近模型互判没有可用信号。可取之处是给运营场景一个可执行的代理评测;但“相关”不保证代理在分布漂移、教师偏差或对抗任务中仍有效,教师成本、泄漏和人类高精度纠正的可得性必须单独核算。适合持续学习和安全评测读者;建议读 §方法、实验协议、代理有效性结果及局限。
AI 论文
HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales
作者:Wenbo Xu、Zhimin Chen、Xiaojie Liang、Hengrui Liu、Ziqi Sheng、Wei Lu
来源/分类:arXiv · cs.CV
链接:arXiv 摘要页 · PDF
研究人类中心深伪视频在跨生成器、扰动与可解释取证上的困难;作者以六个专职 agent 的 Gen2Anno 管线生成和标注逾 18,000 段音频/姿态/语义/交互视频,并比较传统检测器与 VLM。作者报告现有方法在上述泛化维度都很困难。价值是同时给真假、生成归因和对比式理由;仅依据摘要,合成分布、评测分数、真实攻击覆盖与多 agent 标注正确性尚未核验。代码和数据称将公开。
A Graph-Based Reinforcement Learning Framework for Structured Drift Diagnosis and Recovery in Autonomous LLM Agents
作者:Ismail El Hamraoui、Sagar Jose、Nicolas Bureau、Robert Plana
来源/分类:arXiv · cs.AI、cs.LG、cs.MA
链接:arXiv 摘要页 · PDF
研究运行时行为漂移的定位与恢复;用小语言模型在恢复图各节点承担分类、操作识别、风险判断和最终决定,以结构奖励加 LLM judge 奖励训练。作者报告在 AppWorld 中能利用疑似漂移起点给出正确恢复决定且稳定遵循 XML 模式。价值在于把恢复外置并细分职责;仅依据摘要,漂移标签、judge 偏差、与强基线的数值、公平成本比较及真实不可逆副作用均未验证。
VISOR: Agentic Visual Retrieval-Augmented Generation via Iterative Search and Over-horizon Reasoning
作者:Yucheng Shen、Jiulong Wu、Jizhou Huang、Dawei Yin、Lingyong Yan、Min Cao
来源/分类:arXiv · cs.CV、cs.AI
链接:arXiv 摘要页 · PDF · 代码
研究多页视觉文档问答的证据稀疏与长轨迹检索漂移;以证据空间、视觉动作纠错和滑窗意图注入,并用 GRPO 训练单 agent。作者报告在 ViDoSeek、SlideVQA、MMLongBench 达到 SOTA 且成本可控。价值在于显式处理跨页证据;仅依据摘要,具体基线、token/算力、视觉动作错误率和训练/测试污染需全文复核。
The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI
作者:Masaharu Mizumoto、Dat Nguyen、Zhiheng Han、Xingfu Li、Yo Nakawake、Le Minh Nguyen
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF · 数据/材料 DOI
研究洞见型推理和自我核验的缺口;以 201 道可更新的日语谜语、120 题人类比较集测试 38 个模型。作者报告推理模型平均 17.6%、人类 52.9%,并观察到候选正确但最终否决的验证失败;具体方法、数字和限制见上文重点关注。
Can Language Models Understand mmWave Data? Benchmarking Large Language Models for mmWave Radar-Based Human Understanding
作者:Jeongwan Shin、Jaehyeon Kim、Donguk Ko、Jaeho Choi
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF
研究 LLM 能否担当毫米波人体感知的推理层;将点云文本化,汇集公开数据为六场景、五任务的 mmWave-QA。作者报告零样本推理潜力及在视觉退化下的鲁棒性分析。值得关注的是低光/遮挡传感接口;仅依据摘要,文本化损失、跨硬件切分、VLM/专用雷达模型基线和关键分数未披露,不能视为真实感知能力证明。
MedClaw: Heuristic Agent Harness for Long-Horizon Surgical Video Reasoning
作者:Yingying Fan、Penghui Du、Leyan Zhu、Runze He、Zimeng Wu 等
来源/分类:arXiv · cs.CV、cs.AI
链接:arXiv 摘要页 · PDF · 项目页
研究长程手术视频证据定位;冻结感知模型、可审计工具调用和奖励门控技能蒸馏用于迭代查看。作者报告在 1,123 题医生锚定基准上优于 one-shot 与视频 agent;完整基线、消融、数字与临床外推限制见上文重点关注。
GBU-Palm: A Multimodal Video Dataset and Benchmark for Palm Presentation Attack Detection
作者:Yingjie Ma、Zitong Yu、Wei Jia、Ajay Kumar、Linlin Shen
来源/分类:arXiv · cs.CV、cs.AI
链接:arXiv 摘要页 · PDF
研究掌纹呈现攻击检测跨环境泛化;数据含 105 人、21,326 段视频及 6,310 组同步 RGB-NIR,并在身份与攻击谱系隔离协议下比较四类视频架构。作者报告环境转移会明显退化,RGB-NIR 融合也并非总胜过 RGB。价值在于拆解 FA/FR 等失败;仅依据摘要,采样族群、攻击真实性、各模型数字和部署阈值未核验。
TimeSage-EV: A Live Benchmark for Agentic Time Series Analysis in Evolving Environments
作者:Qingren Yao、Yaxuan Kong、Yuqi Nie、Yichen Li、Stefan Zohren 等
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF
研究随发布日期变化的时序分析 agent;用 1,485 个场景—期任务、保留的未来发布作真值并评估状态、总结和展望。作者报告模型间显著层级差和时间有效性/外部上下文/适应失败;具体协议、数字、算力和局限见上文重点关注。
Language-Specific Gaps in AI Safety Training Datasets
作者:Chialuka Prisca-Mary Onuoha、Bright Etornam Sunu、Rashidat Sikiru
来源/分类:arXiv · cs.CY、cs.LG
链接:arXiv 摘要页 · PDF · 数据
研究多语安全数据“总体覆盖”掩盖单语言缺口的问题;审计 21 项资源、25 个语言切片,比较豪萨语、斯瓦希里语和法语的来源、标注、可访问性、伤害分类与复用。作者报告两种非洲语言在自伤/性内容没有母语覆盖,并发现同一翻译管线质量跨语种不对称。价值是可复用切片审计;仅依据摘要,语言选择有限、审核规则与越狱鲁棒性关联并非因果验证。
Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis
作者:Aryan Luthra、Kshitij Jain、Siddharth Arya、Bobby Filar、Anna Bertiger
来源/分类:arXiv · cs.AI、cs.CR、cs.LG
链接:arXiv 摘要页 · PDF
研究无标签条件下的 harness 评估;以强教师稀疏纠正、学生向教师收敛作为代理。作者报告该代理与保留金标准改进相关、同级 LLM judge 无有效信号;其工程价值与代理失效边界见上文重点关注。
Generating Benchmark Health Data Using a Tabular Diffusion Transformer
作者:Hao Yan、Lisa Pilgram、Dan Liu、Linglong Kong、Fida Dankar、Khaled El Emam
来源/分类:arXiv · cs.LG
链接:arXiv 摘要页 · PDF
研究异构多表的健康数据合成;先将各表转成具有统一列、编码边际分布与两两相关的统计表,再训练 diffusion transformer 生成统计表并还原原始表。作者报告该两阶段框架解决单表生成器的跨表局限。价值在于标准化接口;仅依据摘要,临床效用、隐私攻击、相关结构保真度、与单/多表基线的数值和计算代价未核验。
Wyvern: An Agentic Framework for Generating Grounded Multimodal Reports
作者:Beatrice Alessandra Motetti、Emilien Guandalino、Daniele Jahier Pagliari、Alessio Burrello、Lorenz K. Müller 等
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF
研究多模态报告生成的证据落地;提出 agent 框架将问题分解、检索视觉/文本证据并带引用整合。作者报告该框架提升报告的证据支撑与可读性。仅依据摘要,未见数据集、judge/人工评估、检索召回、幻觉率、基线和成本;“grounded”需由可验证引用而非生成风格判断。
Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events?
作者:Shuo Liang、Yixing Ma、Pengfei Zhou、Xingyan Chen、Zihan Mei 等
来源/分类:arXiv · cs.CV
链接:arXiv 摘要页 · PDF
研究真实危机事件中 AI 视频攻击、检测器、生成器及社交传播的系统性关系;作者组织检测与生成的评估。其问题重要性在于危机传播的高风险;仅依据摘要,未给事件采样、攻击生成协议、检测率/误报率、跨平台扩散因果证据或安全发布边界,不能从标题推断防御有效。
Evolve Vision-Language-Action Model into an Agent with On-the-fly Tool-use
作者:Yi Ding、Yanzhao Yu、Xili Dai、Xianbiao Qi、Peiwen Sun、Xueqian Wang、Xiangyu Yue、Jianan Wang
来源/分类:arXiv · cs.RO
链接:arXiv 摘要页 · PDF
研究视觉—语言—动作模型如何在任务中即时调用工具并演化为 agent。作者提出相应框架并报告工具使用带来能力提升。仅依据摘要,工具集合、训练/推理方式、具身基线、成功率、失败动作与安全约束均未给出;能力提升不等于在真实机器人上可靠或可安全执行。
Agentic Transaction: Towards ACID-Compliant Agent Systems
作者:Zhaoyan Sun、Xiaoxiao Wang、Guoliang Li
来源/分类:arXiv · cs.DB
链接:arXiv 摘要页 · PDF
研究 agent 调用多工具时的原子性、一致性、隔离性和持久性;尝试将 ACID 事务概念用于 agent 系统。作者报告所提设计可改善操作可靠性。价值在于将不可逆副作用放入数据库式边界;仅依据摘要,补偿语义、外部 API 不可回滚、并发冲突、性能开销和与现有工作流/审批系统的比较尚未核验。
Second Thought: Reasoning in Parallel as LLM Agents Act and Observe
作者:Zhensu Sun、Chengran Yang、Yunbo Lyu、Jieke Shi、David Lo
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF
研究 agent 行动和观察时并行保留第二条推理轨迹,以减少长程决策的盲区。作者报告并行推理改善任务表现。仅依据摘要,未见任务、基线、异步一致性、token 增量和失败案例;并行推理也可能放大成本或将错误候选并行化,需检查消融和预算对齐。
Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems
作者:Heming Fu、Shan Lin、Qianqian Xie、Guojun Xiong
来源/分类:arXiv · cs.CL
链接:arXiv 摘要页 · PDF
研究 agent 系统中不同 token 的价值与上下文膨胀;提出感知 token inflation 的模型/路径路由。作者报告在质量—成本间获得更好折中。仅依据摘要,路由信号是否泄漏答案、与固定/学习式路由基线、延迟、供应商价格变化及长尾失败都未明;节省 token 不自动代表端到端成本或可靠性更优。
Proxy-Validated LLM UX Micro-Simulations: An Artifact-First Protocol for Early-Stage Decision Support
作者:Alexandre Cristovão Maiorano
来源/分类:arXiv · cs.HC
链接:arXiv 摘要页 · PDF
研究早期决策支持界面的 LLM 微模拟如何以工件优先方式验证;提出代理指标驱动的协议。作者报告该协议可在早期识别 UX 决策问题。价值是要求把模拟输出留作可审计工件;仅依据摘要,代理指标与真实用户行为的关联、受试者验证、模拟偏差和高风险决策的适用性均未证明。