MentalHealthBench：评估 AI 心理健康对话的新基准
MentalHealthBench 是一项融入专家意见的评测基准，用于评估 AI 在贴近真实情境的心理健康对话中的回应。评估重点是回应是否有帮助且安全。
#评测/基准
#评测/基准
今日 0 条OpenAI NewsAI 评分3131
Hugging Face BlogAI 评分4949 英国 AISI 与 EvalEval 如何让基准测试结果可复现
英国 AI 安全研究所（AISI）正使用 EvalEval 基础设施公开评测结果，以支持更可复现、可验证的评测。公开数据通过 Evaluation Cards 提供，包含已核验结果、背景及配置信息，覆盖主实验的 5 项基准和 6 款前沿模型，便于研究者比较不同评测设置下的表现。
Hugging Face BlogAI 评分5858 BenchMIRT 研究：LLM 基准究竟在衡量什么？
BenchMIRT 用多维项目反应理论分析基准中的单道题目，从 100 个 LLM、16 个基准及超过 34K 道题的结果中识别出安全与通用推理两个主要维度。研究发现 BBQ 与通用推理的关联更强，保留 10% 的题目通常仍能近似呈现完整题集反映的能力强弱，预测未观测题目答对与否的准确率为 79%，简单基线为 70%。
Hugging Face BlogAI 评分4848 Open ASR Leaderboard 新增首个全球南方语言：印地语
Voice Arena 与 Hugging Face 合作，为 Open ASR Leaderboard 新增印地语和印度英语评测，印地语成为榜单首个全球南方语言。评测集包含公开与私有划分，覆盖互不重叠的 4,888 名说话者，每人记录 12 项属性，以支持分析不同人群的识别差异。
Google DeepMindAI 评分4949 Google DeepMind 试点全球首次双盲 AI 评测
Google DeepMind 推出全球首次针对闭源前沿 AI 模型的双盲评测试点，在加密安全环境中测试 Gemini Flash Lite。试点联合新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons，使用保密基准，防止测试内容被模型用于后续测试前的性能优化，提高评测可信度。
Google Research精选AI 评分7171 Google Research 研究：回忆而非知识编码是大语言模型参数化事实性的瓶颈
Google Research 研究发现，在 WikiProfile 测试中，前沿大语言模型的事实性瓶颈更多来自已编码知识无法被可靠回忆，而非知识缺失。该基准包含 2,150 条维基百科事实，每条配有 10 项任务；Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实，却无法直接回忆其中 26–34% 的事实，启用思考后仍有 11–12% 的事实回答失败。
推荐理由：将事实未被编码与已编码却无法回忆分开诊断，为判断事实性改进应侧重扩充知识还是提升已有知识利用率提供了依据。
Hugging Face BlogAI 评分4848 ALTK-Evolve 与 ACE 对比：用更少的 token 学习智能体经验
ALTK-Evolve 在内部 AppWorld 对比测试中，以更少的推理 token 达到或超过 ACE 的任务表现。使用 DeepSeek-V3.2 时，TGC 从 80.4 升至 89.3，每任务 token 从 634K 降至 263K。两者均从智能体历史轨迹积累经验，但前者按模型能力调整经验注入量，ACE 每步注入完整经验手册。