每日 AI 论文简报|Agent 记忆、安全与评测

重点关注

以下均为 arXiv 预印本,尚未经同行评审。PDF 在本次运行中无法稳定完整下载,以下内容均仅依据摘要;数字、比较和结论均为作者报告,不能替代独立复现。

HomeSafeBench:自由探索式家庭安全检查

Jiashu Yao 等|arXiv|分类:cs.CV|PDF|代码与数据

  • 问题、方法与基线。 在 VirtualHome 中构造 1,000 个经人工验证任务、五类家庭危险;agent 只能看第一人称渲染画面并主动移动视角。比较多种现有 VLM,并以离线数据构造法 CueBack 微调 4B VLM。
  • 作者报告的证据。 最强基线约为 34.7% F1,人工检查员为 98.0%;CueBack 将其 4B 模型在分布外测试的平均 F1 从 18.7% 提至 45.3%。精度高于召回,提示漏报才是主要瓶颈。
  • 创新、局限与阅读。 把“找隐患”做成可交互、可审计的具身任务,而非单帧分类。模拟器与真实住宅、危险类别覆盖、闭源模型设置以及训练成本都会影响外推;不应把 benchmark 分数视作可替代人工检查。适合具身 AI 与安全产品团队,建议先读数据构建、F1/召回分解和分布外实验。

MemArena:端侧个人记忆 Agent 评测

Jiadong Zhang、Xiaosong Ma|arXiv|分类:cs.CL|PDF

  • 问题、方法与基线。 MASim 在 50 个 agent、15 天的单一世界中生成 1,030 万对话 token;用六类回忆、推理与可信度任务比较五个开源 reader,及 Vanilla、BM25-RAG、Oracle、Memobase、MemSearch 记忆后端。
  • 作者报告的证据。 对 Qwen3-0.6B,Memobase→MemSearch 得 +32.5/+19.2 个百分点,超过同后端放大 reader 的 +10.6/+6.8;Spark GB10 上三种检索的额外延迟为 87/7/48 ms。权限感知访问在所有后端均失败:Oracle 泄露,其他后端又过度拒绝。
  • 创新、局限与阅读。 它把准确率、权限和端侧延迟放进同一测试。合成世界、自动生成真值、尚未发布的代码/大基准和设备依赖限制可复现性;要审计训练数据污染与权限标签。适合做个人记忆/RAG 的工程师,建议读任务定义、权限失败分析和延迟表。

SCDG:生成式改写抄袭的来源归因

Peijia Guo 等|arXiv|分类:cs.CL|PDF

  • 问题、方法与基线。 将可疑文本在有/无候选来源条件下的冻结语言模型描述长度作差,得到无需训练的 token 级证据;与相似度方法和 PAN/CLEF 任务基线比较。
  • 作者报告的证据。 PAN 2025 派生两两任务为 Precision 0.92、Recall 0.97、F1 0.94;PAN 2026 多源检索为 nDCG@10 0.83、Recall@100 0.96。在同主题同事件 Multi-News 中仅 0.125% 被判来源复用。
  • 创新、局限与阅读。 价值在于把“检测 AI 参与”改为可解释的“特定来源复用”信号。候选来源召回、语言模型与阈值选择、不同语言和合法引述情形仍可能失效;需独立人工标注复核,不能单独用于惩戒。适合学术诚信与检索系统研究者,先读指标、候选生成和误报分析。

DiagChain:攻击链重建的分阶段诊断

Xuyang Liu 等|arXiv|分类:cs.CR|PDF

  • 问题、方法与基线。 MAIN-69 覆盖 69 个跨操作系统、噪声与链长的场景,含 849 个参考步骤;ECRAG 用检索证据与演化的结构化攻击链联动,并以五项指标替代仅看最终答案的基线。
  • 作者报告的证据。 六个 LLM 的最强配置仅完成 39.6% 的 849 个步骤;小模型首先难以吸收检索证据,大模型则主要错在证据排序。
  • 创新、局限与阅读。 分清检索、引用和顺序推理的失败点,适合安全 agent 调试。场景、遥测格式和评分规则由作者设定,真实 SOC 的数据漂移、攻击者适应和人工升级流程未被证明。适合蓝队与评测作者,先读场景构成、五项指标及错误分解。

AI 辅助同行评审的质量与政策

Alexander M. Fichtl 等|arXiv|分类:cs.CY|PDF

  • 问题、方法与基线。 调查 111 个 AI/NLP 会议与医学期刊的审稿 AI 政策;在 ICLR 2026 和 Nature Communications 的原稿及数百份人类/机器评审上,比较开源与专有模型的裁判分、评分一致性、粒度和与人类关注点的重合。
  • 作者报告的证据。 两个社群的政策差异显著;LLM 能写出流畅细致的文字,但系统性偏正面、批评泛化且证据锚定不均。作者据此指出总分会高估质量。
  • 创新、局限与阅读。 将治理规则与产出质量并列,而非把“像审稿”当作“审得对”。LLM 裁判、选取期刊/会议与人类评审不一致都可能引入偏差;不可据此自动接纳或拒稿。适合编辑部和科研工具团队,先读政策编码、评价维度及人类对照。

SCOPE:LLM 自主实验设计评测

Zejun Liu 等|arXiv|分类:cs.AI|PDF

  • 问题、方法与基线。 从 19 个领域的 300 篇顶会论文构造基准,分别考核高层实验完整性与低层数据、基线、指标配置;以直接 LLM 规划、搜索模式和提出的 OptED 分阶段工具/规则流程比较。
  • 作者报告的证据。 多数 LLM 不能直接给出高质量设计,低层配置是共同瓶颈,搜索模式不改善质量;OptED 缓解该瓶颈。摘要未给出可横比的完整分数。
  • 创新、局限与阅读。 把研究自动化从“写代码”前移至可检验的研究设计。金标准由既有论文反推,可能奖励复现范式并受训练污染;工具成本和人工科学判断仍不可省略。适合 AI4Research 团队,先读标注协议、低层错误和 OptED 消融。

角色扮演 Agent 的多智能体对抗压力测试

Saqib Shouqi 等|arXiv|分类:cs.AI|PDF

  • 问题、方法与基线。 由提问、目标和裁判三个 agent 在多轮对话中实施六种递进攻击,并以单策略/静态评测为基线;衡量角色忠实、漂移、伦理偏离与一致性。
  • 作者报告的证据。 三种角色、三族模型中,多策略使鲁棒性平均再降 0.17–0.20;自动裁判与人工的相关为 r=0.82、Fleiss κ=0.71,权威挑战和情绪操纵最有效。
  • 创新、局限与阅读。 长程对抗比单轮红队更接近部署风险。仅三种角色、裁判与攻击提示的可迁移性、以及攻击平台被滥用的风险需评估。适合安全评测团队,先读攻击策略、人工一致性和跨模型结果。

AI 论文

以下条目与重点关注合计 18 篇去重候选;均保留摘要页与可直达 PDF,均仅依据摘要。

AntiSkillBench:人格技能的隐私与冒充风险

Yongli Xiang 等|arXiv|分类:cs.CR|PDF

仅依据摘要。 研究人格历史压缩为可复用技能后是否泄露属性或可被冒充;基准含 50 个行为丰富画像、7,500 条对话、三种蒸馏和四种线上/事后防御。作者报告三种前沿 agent 的风险跨骨干与蒸馏均持续,现有防御且依赖蒸馏方式、泛化有限。其价值是覆盖端到端技能管线;画像合成性、风险标签和防御实现限制外推,需重点审计隐私数据来源与攻击成本。

ParVL:多模态模型的并行计算分配

Yang Yang 等|arXiv|分类:cs.CV|PDF|代码

仅依据摘要。 研究固定参数预算下视觉与语言计算如何分配;复用 ViT/LLM 骨干的并行分支、分支前缀参数,并用约 130 亿 token 全参数微调,与同配方单分支比较。作者报告整体多模态分数提高、最优分配随任务改变。价值在于显式处理模态算力;摘要未给任务表、延迟和显存,公平基线、数据污染与训练成本须复核。

LDU-Bench:光刻缺陷多模态理解

Huanglong Ji 等|arXiv|分类:cs.CV|PDF

仅依据摘要。 用真实光刻/芯片复核图像将工作流拆为分诊、形态、粗定位与因果分析,以任务指标和 LCS 评测 MLLM。作者报告分诊相对可靠却不能稳定迁移到后续环节,主要瓶颈是形态、定位与证据到原因映射。适合工业视觉评测;数据保密、标注一致性与“原因”可见性限制复现,不能据此直接用于产线放行。

S³:多阶段 Agent 安全防御

Zibo Xiao 等|arXiv|分类:cs.CR|PDF

仅依据摘要。 将记忆、规划、工具执行的异构安全机制抽象为带阶段语义的可组合技能,由 guard agent 编排,并在 MSRB 上比较代表性 SOTA。作者报告安全有效性与效用保持均优于基线。价值是将防御接口标准化;风险覆盖、guard 单点失效、技能供应链与延迟/算力未由摘要量化,需先做独立红队。

SportMV-Bench:多视角体育视频推理

Kerui Chen 等|arXiv|分类:cs.CV|PDF

仅依据摘要。 以官方比赛录像构造 1,022 组多视角视频和 3,015 问答,覆盖感知、规则解释与裁决;SportMV-Agent 迭代选视角、调用感知工具并做证据推理。作者报告相对最强 MLLM 基线提高 15.61%,主要难点是精细视觉和选视角而非逻辑。LLM 生成、MLLM 验证的数据流程和版权/分布偏差仍需审计。

真实对话中的心理健康 AI 安全审计

Caitlin A. Stamatis 等|arXiv|分类:cs.CY|PDF

仅依据摘要。 将四个基准复现与 20,000 段部署对话审计结合,对比专用系统和六个前沿通用模型。作者报告其系统在三类高风险提示的潜在有害率为 6.2%,对照为 18.0%–52.0%(均 p<.001);600 段盲审中裁判敏感度为 6/6、特异度 99.2%。真实数据提高生态效度,但审计管线、样本量和低基数置信区间限制因果与总体安全结论,不能替代临床服务。

推理 LLM 的测试时扩展与可复现性

Mohsen Hariri 等|arXiv|分类:cs.LG|PDF

仅依据摘要。 论文把测试时扩展形式化为自回归前缀树上的预算推理,区分单轨迹、叶节点聚合与前缀搜索,并讨论计算记账和失败模式。作者报告单一“预算”或只报准确率会使研究不可比较。它提供评测语言而非新的能力证明;须配合相同模型、解码、token/墙钟成本和污染控制的实验。

Autoreflection:Agentic 循环与文化基础设施

arXiv 作者见摘要页|arXiv|分类:AI|PDF

仅依据摘要。 论文讨论 agentic “奇异循环”如何把人类文化转为 AI 基础设施,研究问题是反思机制与文化生产的关系。摘要中的概念性论证是其方法与主要结论;其价值在于提出治理视角,但缺少可独立复验的实验或量化结果,不能据此推断实际生产率或社会影响。

Risky Business:忠实性与安全性的张力

arXiv 作者见摘要页|arXiv|分类:AI|PDF

仅依据摘要。 研究模型“忠实呈现”与安全约束之间的可测冲突,标题指向相应度量。作者报告的结论和具体基线/数字未在可用摘要中展开。价值在于提醒安全优化可能改变解释或遵循度;须核查任务定义、裁判偏差、攻击覆盖和误拒成本,不能将单一分数当成安全证明。

从社交编码到 Agentic 编码的开源社区重构

arXiv 作者见摘要页|arXiv|分类:AI|PDF

仅依据摘要。 研究 agentic 编码如何改变开源社区的生产率与关系结构,方法/数据和主要结果需以摘要页与全文为准。它值得关注,因为技术采用不只影响代码产出,也影响协作和维护责任;观察性社区数据不能自动识别因果,选择进入、许可证和长期维护质量是关键限制。

DataSpace:可验证异构工作区数据 Agent 评测

arXiv 作者见摘要页|arXiv|分类:AI|PDF

仅依据摘要。 论文以异构工作区上的可验证分析任务评测数据 agent,关注是否能给出可追溯结果。作者报告的具体任务、基线与数值未在可用摘要中展开。价值是把“回答看似合理”与“证据可验证”区分;连接器权限、数据污染、执行成本和真实企业数据分布仍需独立测试。


每日 AI 论文简报|Agent 记忆、安全与评测
https://www.polarishaw.top/2026/08/06/daily-ai-papers-2026-08-06/
作者
Polaris
发布于
2026年8月6日
许可协议