每日AI论文简报|2026 年 8 月 26 日

重点关注

EviSafe:安全回答还不够,模型必须用对多模态证据

论文:EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models(arXiv:2608.23313)
作者:Xuetong Li、Gaofeng Liu
来源/分类:arXiv · cs.AI
全文状态:已核阅公开 PDF。

论文研究的不是模型会不会拒答,而是“看起来安全”的行为是否由正确的文本、视觉和跨模态关系驱动。EviSafe 将安全能力拆成三条可观察链路:自然交互中的安全决策、结构化报告中的证据与风险来源、以及在替换关键证据后的行为变化。EviSafeBench 从 9,399 条公开记录整理出 1,181 个 gold 场景和 2,452 个针对性反事实变体,覆盖 8 个安全领域、8 类风险来源、4 种决策标签;每个场景包含文本证据、视觉证据、跨模态关系、响应策略和反事实干预。评估时分别运行自然回答、证据报告和反事实回答三种 probe,再由 GPT-5.4 evidence-aware judge 评分。作者还用 200 条分层盲审记录核对 judge:自然决策一致率 92.5%,风险来源族 88.0%,证据字段 84.3%,但这仍是对评分器的审计,不是对模型内部机制的验证。

11 个 VLM 的结果显示,natural severity accuracy 为 27.6%–52.8%,relaxed diagnostic consistency 为 6.1%–29.3%,unsafe-to-safe 反事实转换成功率为 30.4%–58.4%。在 12,459 条模型—场景记录中,29.8% 是“决策正确但证据不完整”的 heuristic success,真正同时满足行为与证据对齐的只有 9.8%;平均文本和视觉证据得分分别为 71.4、71.1,但跨模态关系和安全响应策略只有 43.6、51.1。Qwen3-VL-4B 的自然严重度准确率最高为 52.8%,Qwen3-VL-235B 的整体反事实行为准确率为 80.2%,Claude Opus 4.6 的 unsafe-to-safe 转换最高为 58.4;这些是作者在其控制协议下报告的模型画像,不能改写成真实事故风险或部署认证。创新在于把反事实适应、决策—证据一致性和过度拒答放进同一诊断框架;局限包括自然语言证据而非框级标注、生成图像反事实可能有伪影、judge 和服务 token 预算不完全相同、样本并不估计现实风险发生率。AI 工程读者应优先读 §3 的数据与三 probe、§4.2 的诊断结果、表 2 和 §5.2 的限制;复现时还要公开模型版本、judge 配置和算力成本。

链接:arXiv 摘要页 · PDF

GuardianBench:同一场景换一句指令,VLM 往往不会改变安全判断

论文:GuardianBench: A Same-Scene Instruction-Contrastive Benchmark for Latent Contextual Risk in Embodied AI(arXiv:2608.21928)
作者:Zhesheng Zhang、Jiahao Lu、Wei Liu、Cong Pan、Jianhua Yang、Yixiang Chen、Hongyuan Yu、Mengqi Zhang、Kailin Lyu、Zhumin Chen、Keji He
来源/分类:arXiv · cs.AI、cs.CL、cs.RO
全文状态:已核阅公开 PDF。

GuardianBench 固定视觉场景,只替换自然语言指令,测试风险是否真的由“指令—场景组合”决定。数据集由 4 个国际安全标准(ISO 12100、NFPA 1、CXC 1-1969、GHS)整理出 14 类危险,并用 5×5 严重度—可能性矩阵筛选,最终包含 3,024 条指令—场景样本,即 1,512 对同场景 Safe/Unsafe 对照。评估 16 个闭源和开放权重 VLM,要求模型先输出感知—知识—预测结构化理由,再输出 Safe/Unsafe 标签;主要指标是安全召回 Safety、可用召回 Utility、调和均值和只有两个相反判断都正确才算成功的 Pair Accuracy。这个设计比单行准确率更能排除“看到危险场景就统一拒绝”或“默认批准”的捷径。

13 个主模型的平均 Utility 为 88.1%,Safety 只有 30.1%,Pair Accuracy 平均 24.1%,范围 14.7%–38.6%;70.0% 的对照对完全没有翻转判断,只有 5.9% 是方向错误的翻转。GPT-5.2 的 Utility 为 96.9%,Pair Accuracy 却只有 15.7%;Qwen3-VL-235B-Thinking 的 Pair Accuracy 最高也只有 38.6%。在 50 张真实照片、100 条独立指令组成的 REAL50 外部检查中,模型间主基准准确率相关系数为 0.74,Safety 相关系数为 0.86,但 16 个模型的平均 Pair Accuracy 也只有 49.4%。作为后训练案例,VLOS 在 606 条测试样本上将 Qwen2.5-VL-7B 的 Pair Accuracy 从 GRPO 的 74.3% 提到 90.8%,Ministral-8B 从 81.2% 提到 90.8%;这属于同一合成/受控数据协议内的对照,不等于闭环机器人已安全。创新是用同场景反事实把指令敏感性变成可测量的安全目标;局限是主数据为生成图像、场景只测执行前判断,不覆盖闭环控制、动作可行性、遮挡和传感器噪声。适合具身智能安全和多模态对齐读者;建议读 §3 的风险定义、§4 的 Pair 指标、表 2、§5 的 VLOS 消融和 Limitations。复现时应特别核对生成数据、REAL50 外部集和 VLOS 训练/测试切分是否独立。

链接:arXiv 摘要页 · PDF

FinAcumen:让金融多模态 agent 记住成功策略,也记住失败警告

论文:FinAcumen: Financial Multimodal Reasoning via Self-Evolving Experience Memory Harness(arXiv:2606.17642)
作者:Pianran Guo、Pengcheng Zhou、Yucheng Jian、Shuhua Chen、Zhongliang Yang、Linna Zhou
来源/分类:arXiv · cs.AI
全文状态:已核阅公开 PDF。

FinAcumen 针对金融图表、表格、新闻和时间信息混合的问题,提出“金融记忆 FM + 确定性金融工具 FT”的冻结模型推理框架。FM 从多条成功或失败轨迹中分别提炼可复用策略和 guard rules,写入经验库;推理时用相似度阈值筛选、去重和排序,只有相关经验才注入 prompt,不相关时回退到无记忆路径。FT 包括持久化数值计算、受控数据检索、视觉结构解码和答案校验门:最终答案必须可追溯到工具输出、单位一致且格式正确。实验固定 Qwen3-VL-8B-Instruct,FM 由训练/验证切分的约 2,400 条经验积累轨迹构成,测试时只读;因此论文比较的是一个带外部记忆和工具的系统,而不是 8B 参数本体与 GPT-4o 的公平裸模型对决。

作者在 BizBench SEC-NUM、FinMMR、FinTMMBench 和 FinMME 的 6 个设置上报告:BizBench 从同一冻结 backbone 的 27.67% 提到 68.65%,FinMMR Easy 从 59.17% 提到 81.67%,FinMME 原始平均从 27.84% 提到 51.08%。FinMMR Easy 消融中,加入 FT 将准确率提高到 74.08%,再加入 FM 到 81.67%,相对 Base 合计提高 22.50 个百分点;在 0 到 2,400 条记忆的 BizBench 曲线上,工具基线的 55.15% 升至 68.65%,1800 条后边际收益变小;检索深度从 1/3 的 57.80%/57.85% 到 5 的 63.11%,增加到 7 又降至 62.17%,说明记忆过多会引入干扰。创新在于把失败经验当作可检索的防错规则,并以 fallback 处理检索不确定性;局限是多数外部 baseline 数字直接取自各基准论文而非重跑,FinMME 的评分还因标签信息限制由作者补充,记忆合并涉及额外多轨迹生成成本,公开代码与完整数据/服务配置仍需复现验证。适合金融 AI、工具调用和 agent 记忆工程读者;建议读 §4.2–4.4、表 1–2、§5.3–5.5 和附录 F。它提升的是基准问答的可验证性与部署效率,不是投资决策能力。

链接:arXiv 摘要页 · PDF · 代码

ATP-Bench:真正难的不是生成一张图,而是决定何时、为何、用哪个视觉工具

论文:ATP-Bench: Towards Agentic Tool Planning for MLLM Interleaved Generation(arXiv:2603.29902)
作者:Yinuo Liu、Zi Qian、Heng Zhou、Jiahao Zhang、Yajie Zhang、Zhihang Li、Mengyu Zhou、Erchao Zhao、Xiaoxi Jiang、Guanjun Jiang
来源/分类:arXiv · cs.AI
全文状态:已核阅公开 PDF。

ATP-Bench 将交错文本—图像回答从单纯的生成质量问题改写成 agentic tool planning:模型要决定是否调用 Reference、Diffusion、Search、Code、Edit 五类工具,调用放在哪里、参数是否正确,并把图像与对应段落连起来。数据包含 7,702 个 QA 对(其中 1,592 个 VQA),覆盖 Academic、Manual、Recipe、Fashion、Renovation、Product、Travel、Encyclopedia 八类和 25 个视觉关键意图;10 名专业标注者做查询筛选,ground truth 经文本回答生成、工具插入、再验证三阶段构造。作者提出 MAM 多 agent MLLM-as-a-Judge,把工具调用必要性/位置/参数的 Precision Inspector、漏掉的图像机会 Recall Inspector 和总体质量 Chief Judge 分开,因而可以在不固定后端工具的情况下测计划质量。

10 个 MLLM 的最终分数、工具调用成功率和漏图数量都显示出工具规划差异。Gemini 3 Pro 的平均 Final Score 为 79.88,Success Rate 为 81.77,Missed Images 为 0.49;GPT-5 在 Academic 得分 93.59,但 Travel 的 Final Score 只有 49.63、漏图 2.60;LLaMA-3.2-11B 的平均 Success Rate 18.34、平均漏图 2.16。工具集合的 F1 与 MAM Final Score 的 Spearman 相关为 0.879;400 条模型输出的人评与三个 judge 的一致率分别为 84.00%、85.88%、88.00%,100 条端到端执行样本中 Gemini 3 Pro 的人工最终分为 3.89/5。结果支持“计划—执行”是独立瓶颈,但 MAM 仍是自动裁判,且文档来源、查询和部分视觉素材带有人工/模型生成成分,不能把排行榜当作真实用户满意度或跨工具后端的普适能力。局限还包括只覆盖文本—图像和 5 个工具、未覆盖音频视频;few-shot 对不同模型收益差异很大,提示和工具能力边界会改变调用分布。适合多模态 agent、工具协议和评测工程读者;建议读 §3 的工具空间、§4.1–4.3、表 2–6、§6 消融和 §7 限制。

链接:arXiv 摘要页 · PDF · 代码与数据

RARRL:让机器人学会决定“现在该思考,还是先行动”

论文:When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making(arXiv:2603.16673)
作者:Jun Liu、Pu Zhao、Zhenglun Kong、Xuan Shen、Peiyan Dong、Fan Yang、Lin Cui、Hao Tang、Geng Yuan、Wei Niu、Wenbin Zhang、Xue Lin、Gaowen Liu、Yanzhi Wang、Dong Huang
来源/分类:arXiv · cs.RO、cs.AI、cs.LG
全文状态:已核阅公开 PDF。

RARRL 把高层“是否调用 LLM 推理、调用哪种角色、分配多少计算预算”作为单独的层级策略学习,而不是把思考当作免费动作。PPO orchestration policy 读取当前观察、执行历史和剩余预算,在 planner、verifier 与直接 ACT 之间动态切换;底层执行模块和 LLM 推理模块在训练/测试中冻结。作者先在抽象的 Navigation、Inspection、Multi-step Delivery 任务上做控制实验,再把抽象成本用 ALFRED 的经验延迟校准,并在 AI2-THOR 中用真实 LLM API 做 50 episodes/类别的运行时评估。对照包括 No Reasoning、Always/Full Reasoning、固定次数、启发式和 constrained PPO,目标同时包含任务成功与推理延迟/资源成本。

在 ALFRED 的 Navigation/Inspection/Delivery 三类任务上,RARRL 的任务成功率分别为 82.7%、76.4%、69.5%,相对 constrained PPO 的 79.3%、73.1%、65.8% 更高;对应每 episode 总时间为 25.1、29.8、33.7 秒,LLM 时间为 12.3、14.1、16.8 秒,token 使用 980、1,100、1,350,均低于 constrained PPO 的 30.8/34.6/39.2 秒、18.4/20.7/23.9 秒和 1,950/2,150/2,400 tokens。抽象任务中,RARRL 的 reasoning frequency 为 7.4/6.9 次,Full Reasoning 为 50 次,任务成功率仍达 82.3%/84.6%;突发预算冲击后,RARRL 成功率从 87.6% 降到 74.9%,启发式从 78.5% 降到 61.8%。去掉预算状态,成功率降至 80.9%;去掉历史降至 78.7%。这些是模拟器和冻结模块下的效率—成功率权衡,不是实体机器人或生产 API 的成本保证。创新在于把推理调用本身纳入控制问题;局限是抽象训练与 ALFRED 迁移仍有分布差异、底层模块能力决定上限、延迟和动作噪声被简化,实验在 NVIDIA A6000 上进行且未给出更广泛模型/算力成本敏感性。适合具身 agent、LLM 路由和成本感知推理读者;建议读 §3 的状态/奖励、§4.3 的 ALFRED 表 1、表 2–4、§5 讨论和附录的迁移假设。

链接:arXiv 摘要页 · PDF

AI 论文

LLM-based Agents for Forecasting and Prediction: Methods, Training, Evaluation, and Applications

作者:Xiaogang Xu、Jiaqi Tang、Jianmin Chen、Yingying Yan、Zhenchao Tang、Xiangxin Zhou、Xiaobin Hu、Wei Wei、Jinfeng Wu、Qifeng Chen、Lu Zhou、Jiafei Wu、Zhe Liu、Jianwei Yin、Weimin Zheng
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF

仅依据摘要:这是一篇关于 LLM forecasting agent 的综述,将系统分为独立 LLM 工作流、工具/检索增强 agent、以及与统计或 foundation model 混合的系统,并整理训练、评估和金融/天气/健康/能源/运营应用。作者特别强调负证据、输入微扰、LLM 组件不带来增益的消融,以及 benchmark 提升可能来自数据污染而非时间推理。价值在于把校准、分布漂移、污染抵抗和成本—准确率联合报告放在测量中心;摘要没有给出统一纳入标准、复核流程或跨方法的数值汇总,不能仅据此断言 LLM agent 优于传统预测模型。适合做预测系统评测、金融 forecasting 或时间序列 agent 的读者。

Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

作者:Timothy Merritt、Alejandro Jarabo-Pe~nas、Juan Bravo-Arrabal、Maria-Theresa Bahodi、Anders Lyhne Christensen
来源/分类:arXiv · cs.AI、cs.ET、cs.HC、cs.RO
链接:arXiv 摘要页 · PDF

仅依据摘要:这篇立场论文以 NAMUR(搜索救援/消防)和 PERSIST(关键基础设施持续监测)两个进行中的项目为线索,主张安全关键多无人机的难点不仅是自主性能,还包括操作员理解、信任、监督和问责。作者提出人本、参与式、迭代式的社会技术研究路线。价值在于把接口、监督机制和评估实践与算法放在同一系统边界内;摘要没有提供可对比的飞行成功率、故障率、基线或真实部署数据,因此不应把项目愿景写成已验证的安全效果。适合机器人治理、HCI 和安全关键系统设计读者。

DialToM:从“识别心智状态”到“预测对话走向”仍有断层

作者:Neemesh Yadav、Palakorn Achananuparp、Jing Jiang、Ee-Peng Lim
来源/分类:arXiv · cs.CL、cs.AI、cs.LG
链接:arXiv 摘要页 · PDF · 代码与数据

仅依据摘要:DialToM 从自然人类对话构建 Theory of Mind 基准,让模型只根据孤立的心智状态画像,预测状态一致的后续对话轨迹,而不是依赖原始上下文。作者称 LLM 在 Literal ToM(推断状态)上较强,在 Functional ToM(用状态预测社会行为)上较弱;领域专家达到 100% 准确率,Gemini 3 Pro 是领先 baseline,teacher-student reasoning injection 还显示其能力可迁移给较弱模型。摘要没有报告样本量、完整模型版本、提示、随机性或迁移消融,专家 100% 也不能单独证明任务涵盖真实社会推理。适合社会推理评测和对话 agent 读者。

RetroDFM-R:用强化学习把逆合成从匹配扩展到显式路线推理

作者:Situo Zhang、Hanqi Li、Lu Chen、Zihan Zhao、Xuanze Lin、Zichen Zhu、Danyu Luo、Bo Chen、Xin Chen、Kai Yu
来源/分类:arXiv · cs.CE、cs.AI、physics.chem-ph
链接:arXiv 摘要页 · PDF

仅依据摘要:RetroDFM-R 面向有机合成逆合成规划,用大规模强化学习训练能给出逐步理由的 LLM。作者报告在 USPTO-50K 上无增强准确率 60.4%,完整推理设置 66.1%,并用双盲专家评价化学可行性,还展示了真实药物和自组装单分子的多步路线重建。价值在于把路线可解释性与标准命中率一起讨论;摘要没有给出比较 baseline、数据切分、污染检查、推理 token/算力成本和专家一致性细节,不能把 benchmark 命中率等同于实验室可执行路线。适合计算化学、药物发现和化学 agent 读者。

RadFound:面向真实放射科流程的开放视觉语言基础模型

作者:Xiaohong Liu、Guoxing Yang、Yulin Luo、Jiaji Mao、Xiang Zhang、Haibo Wang、Zhiyang He、Ming Gao、Shanghang Zhang、Jun Shen、Guangyu Wang
来源/分类:arXiv · cs.CV
链接:arXiv 摘要页 · PDF

仅依据摘要:RadFound 在超过 810 万张图像、25 万个图文对上预训练,覆盖 19 个器官系统和 10 种影像模态;模型改进视觉编码器和跨模态学习,并配套 RadVLBench,包含 VQA、caption、报告生成及人评。作者声称在胸片、多视图乳腺 X 线和甲状腺 CT 三类真实世界评测中超过其他 VL foundation model。价值在于同时覆盖 2D、多视图和 3D 场景;摘要没有给出各任务数字、临床专家协议、患者/机构切分、数据许可、隐私处理与外部医院样本,因此“expert-level”和临床工作流潜力必须留在作者自述层面,不能替代医疗验证。适合医学 AI 评测和多模态预训练读者。

ActPair:用动作对齐和成对重排做文本驱动的异常行人检索

作者:Thanh-Khoi Nguyen、Thanh-Nhan Vo、Trong-Thuan Nguyen、Minh-Triet Tran
来源/分类:arXiv · cs.CV
链接:arXiv 摘要页 · PDF

仅依据摘要:ActPair 将文本驱动的异常人物搜索拆成三阶段:用动作对齐多任务目标微调 VLM;同时保留原始查询和 LLM 生成的上下文重写做 late-fusion 检索;最后用 pivot-promote 进行成对视觉重排,减少穷举比较成本。作者报告在 PAB public test 上达到对比方法最优,并能迁移到未针对异常行为的数据集。价值在于不把异常搜索简化为外观相似度;摘要没有给出 Recall/mAP、训练基线、跨摄像头协议、重排延迟或真实监控误报代价,不能据此判断部署收益。适合视频检索和多模态排序读者。

NetConfArena:用可执行闭环测试替代静态网络命令生成

作者:Chang Liu、Xiaohui Xie、Xinyi Chen、Yong Cui
来源/分类:arXiv · cs.NI、cs.AI
链接:arXiv 摘要页 · PDF

仅依据摘要:NetConfArena 在仿真的多设备网络中让 LLM agent 执行配置,通过隐藏的、任务特定的可执行测试验证最终网络行为,而不是只检查命令字符串。数据由 96 个面向协议的任务模板实例化为 480 个任务、3,840 条轨迹;论文观察到失败不只来自命令错误,也来自规格遵循、规划和执行鲁棒性。价值在于把网络配置变成安全可回滚的 closed-loop benchmark;摘要没有给出 agent 间的准确率表、仿真器与真实设备差异、拓扑覆盖、污染控制或执行成本,不能把模拟成功率外推为生产网络可靠性。适合网络自动化、可执行评测和 agent accountability 读者。

FinixDoc:在金融文档低质量和超大页面上重新测解析能力

作者:Hang Wang、Jin Zhang、Guoliang Xu、Pengyue Lu、Yao Li、Zijiao Zhang、Tianyu Huang、Weiqi Xiong、Yulong Wang、Chuqiao Lu、Wenkang Huang、Kai Yang、Yadong Li、Hui Li、Xingzhong Xu、Xiao Xu
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF

仅依据摘要:FinixDoc 以 Qwen3-VL-4B 为基础构建 4B 规模 FinixDoc-VL,按视觉质量和文档规模建立 Document Parsing Capability Matrix,并结合 homoglyph-aware contrastive learning、多阶段强化学习和带置信度的人在回路数据工厂。FinixDocBench 覆盖数字原生、手机拍摄、超大页面和内部流程场景;作者报告主子集总分 81.43,超过下一名开源模型 5.13 分,FinixInner 为 84.08 对 78.73。价值在于把“饱和 benchmark”与低质真实文档分开;摘要没有说明评分构成、文档来源与脱敏、训练/测试泄漏、OCR/版面基线及推理成本,分数仍是作者评测中的相对结果。适合文档 AI、金融合规和视觉解析工程读者。

Physical Agentic AI:把语义计划和物理执行之间加一道可拒绝的门

作者:Xinyuan Liu、Eren Sadikoglu、Riana Chatterjee、Ransalu Senanayake
来源/分类:arXiv · cs.RO、cs.AI、cs.MA
链接:arXiv 摘要页 · PDF

仅依据摘要:论文提出 Physical Agentic AI 架构:机器人暴露带类型的可执行 skill,foundation-model planner 负责分阶段计划,确定性的 Robot Orchestrator 在执行前逐个核对机器人能力、状态和 workflow contract。作者在 Gazebo 的无人机—UGV 搜索调度任务和 humanoid—quadruped 搬运任务上报告,检索使 skill grounding 从 51% 升至 96%,但知情 planner 仍有 23%–29% 的错误步骤;逐次 enforcement 将 false dispatch 降到 0%,且没有 false block,8 个注入故障全部在无门控时越过边界、6 个引发运动,有门控时 8 个均在运动前拒绝。价值在于把执行授权变成确定性安全边界;由于本文只依据公开摘要,尚未核查故障构造、真实硬件试验规模、baseline、公平比较和长时闭环表现,不应把这些数字当作物理世界安全保证。适合机器人系统架构和安全门控读者。

Coalition-Aware Skill Reliability:技能库的总体收益可能掩盖坏技能联盟

作者:Qiyan Zhao、Xiaofeng Zhang、Bo Liu、Minda Chen、Wei Xiong、Jingyang Chen、Guanting Ye、Wenhao Yu、Xiaosong Yuan、Shijie Han、Da-Han Wang、Jianmin Ji、Fei Huang、Xu-Yao Zhang
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF

仅依据摘要:论文审计自演化 agent 的 skill bank,指出 coalition pollution(库级收益掩盖负贡献)和 cross-domain utility reversal(源域有益、迁移后有害)两种风险。CASS 用抽样 Shapley 边际做技能选择,u-SMCO 用无标签目标域数据屏蔽移植后会降低检索质量的技能;作者在 LoCoMo、LongMemEval、HotpotQA、ALFWorld 上报告优于强 skill-based baseline。价值在于把“技能是否有正向机制贡献”与隔离测试区分开;摘要没有给出效果量、技能库规模、Shapley 计算成本、污染控制和跨任务基线细节,无法仅凭摘要判断可扩展性。适合 agent memory、技能复用和 RL 稳定性读者。

ClawProBench:把 agent 的运行轨迹和 runtime 一起作为评测单位

作者:YuanHang Xiao
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF

仅依据摘要:ClawProBench 认为有状态 agent 不能只按最终答案评价,而应评价“模型 + runtime”配置在证据获取、路由、安全边界和重复执行中的完整轨迹。它在 OpenClaw 上提供 102 场景 full profile 和 68 场景 frozen holdout,以 correctness、process quality、efficiency 的 safety-gated 公式评分并保留审计证据;作者报告 68 个配置 full profile 的最高平均 trace score 为 0.7671,native-runtime 任务低于 workspace-live(0.5238 对 0.6415),holdout 的 pass@k-any 为 0.6638、strict three-trial pass 为 0.2890,full/holdout 排名 Spearman 只有 0.1300。价值是暴露一次性成功和原生界面弱点;摘要没有交代 OpenClaw 版本、任务代表性、工具权限边界、模型基线和复现算力,分数不应外推到其他 runtime。适合 agent 评测、运行时安全和过程审计读者。

BanglaVeilGuard:跨脚本语言安全评测暴露安全—可用性前沿

作者:Md. Rakibul Hassan、Muhammad Iqbal Hossain
来源/分类:arXiv · cs.CL、cs.CR
链接:arXiv 摘要页 · PDF

仅依据摘要:BanglaVeilGuard 面向标准孟加拉语、Romanized Bangla、Banglish、孟加拉语—英语混合、噪声拼写和方言六种形式,构建 2,366 条过滤后 prompt、354 条留出集,包含 unsafe、safe 和 safe-sensitive 请求。轻量 guard 通过多视图规范化、风险分类器和生成前阈值门控,不改模型权重;作者报告 Claude Opus 4.8、BanglaLLama、TituLLM 的攻击成功率由 93.8%–100.0% 降至 6.3%,prompt guard unsafe recall 为 88.5%,但方言和噪声 benign prompt 过度拒答仍是主要代价。价值在于纠正英文中心 benchmark 的覆盖偏差;摘要没有给出攻击者适应、跨脚本污染、误拒答绝对率、模型版本和独立人评,因而不能把 ASR 降低写成真实安全提升。适合低资源语言安全、guardrail 和公平评测读者。

CompPO:让信用分配跟随 Transformer 实际使用的计算路径

作者:Qifan Shi、Zhaolu Kang、Chenghua Zhu
来源/分类:arXiv · cs.AI
链接:arXiv 摘要页 · PDF

仅依据摘要:论文把 LLM RL 的信用分配拆成成功证据、token 优势的 transport operator 和更新几何,认为固定折扣 GAE 或把结果广播到整个回答都没有利用 Transformer 的轨迹特定计算。CompPO 用 attention concentration 生成有界 retention gate,配套 Comp-GAE 与复用 actor hidden states/routing 的 transport-aligned critic;任务 reward 与 clipped PPO objective 保持不变,常数 gate 可退化为固定 GAE。作者在 5 个 Qwen3-4B seed 上报告最终留出准确率 61.4%(95% CI [60.8, 62.0]),高于调参 GRPO 的 53.8% [52.9, 54.7];标准 critic 或固定 gate 的消融只有 55.2%/56.4%,10/12 PPO 网格稳定而 GRPO 为 3/12,Qwen3-4B 和 Llama-3.1-8B greedy pass@1 macro 分别高 4.3/3.9 点。摘要没有说明任务分布、token/GPU 预算、attention 指标与能力的因果关系及更大模型结果;这些 benchmark 数字也未独立复核。适合 LLM RL、信用分配和训练成本分析读者。


每日AI论文简报|2026 年 8 月 26 日
https://www.polarishaw.top/2026/08/26/daily-ai-papers-2026-08-26/
作者
Polaris
发布于
2026年8月26日
许可协议