跳到正文

#数据/训练

今日 2 条
8月12日周三
8月10日周一
  1. Hugging Face Blog49

    Hugging Face 解析如何降低知识蒸馏成本以支持规模化实验

    Hugging Face 展示离线缓存教师模型输出与融合分块 KL 损失如何降低知识蒸馏成本,让单 GPU 长上下文能力恢复训练成为可能。该方法缓存每个位置的 top-100 logits,训练时无需加载教师模型;融合分块计算避免构建完整词表与序列矩阵,示例中显存峰值从约 250GB 降至约 128GB。

8月6日周四
  1. Google DeepMind78

    WeatherNext 气旋预报取得进展,同等精度下可多提前约一天预警

    Google DeepMind 的 WeatherNext 在气旋路径、强度和风场结构预测中达到 SOTA 精度,平均三天预报可达到以往模型两天预报的准确度。发表于 Nature 的研究基于 2023 至 2024 年历史气旋进行评测,模型可在单个 TPU 上用不到一分钟生成一次 15 天预报,今年每个气旋的集合预测已扩展至 1,000 种可能情景。

    推荐理由:以相同预报精度比较提前量,比单看误差更容易理解模型进步的实际意义,也为评估气旋预报工具提供了具体参照。

8月4日周二
  1. Microsoft Research69

    微软研究院 Orchard:以可复用环境支持规模化 AI 智能体训练的开源框架

    微软研究院推出开源框架 Orchard,通过可复用的 Orchard Env 环境服务,支持软件工程、网页导航和个人助理智能体的训练与评估。该服务基于 Kubernetes,可直接在 Codex、OpenClaw、ZeroClaw 等实际部署框架内训练智能体,并配套开放训练流程、数据和评估方法。

    推荐理由:将运行环境独立为可复用服务,并在实际部署框架内训练智能体,为减少跨任务基础设施重复建设和训练部署差异提供了具体路径。

7月31日周五
7月27日周一
  1. Hugging Face Blog60

    NVIDIA 发布 Cosmos-H-Dreams,将实时生成式仿真引入手术机器人

    NVIDIA 发布手术机器人生成式仿真模型 Cosmos-H-Dreams,通过知识蒸馏和 FlashDreams,在单张 NVIDIA RTX PRO 6000 GPU 上实现约 160 帧/秒的闭环交互。

    推荐理由:从离线轨迹生成转向实时闭环交互的技术路径,为理解手术机器人仿真如何同时降低生成成本与应对长序列误差提供了具体参考。

7月26日周日
  1. Berkeley AI Research48

    ABBEL:教大语言模型更新信念,实现高效长程交互

    ABBEL 通过监督自然语言信念状态的更新,改善大语言模型在长程交互中压缩上下文后的表现。在协作编程环境 CollabBench 中,相比不采用信念评分的摘要训练,基于重建的信念评分将与完整上下文模型的性能差距缩小约 50%,训练步数减少 50%。训练后,其峰值上下文 token 用量仍显著低于完整上下文模型。

7月21日周二
7月16日周四
  1. Hugging Face Blog83

    Hugging Face 披露 2026 年 7 月安全事件:自主 AI 智能体入侵生产基础设施

    Hugging Face 披露,本周早些时候发现自主 AI 智能体系统入侵部分生产基础设施,有限的内部数据集及若干服务凭据遭未授权访问。攻击通过恶意数据集利用数据处理中的两条代码执行路径进入系统并横向移动;相关路径已关闭、受影响凭据已撤销并轮换,合作伙伴或客户数据是否受影响仍在评估,未发现公开模型、数据集或 Spaces 被篡改的证据,软件供应链经核验未受污染。

    推荐理由:托管模型的安全护栏阻断了真实攻击日志分析,这次响应经历为防守方提前准备本地取证模型提供了具体参考。

7月9日周四
7月8日周三
7月7日周二
  1. Hugging Face Blog62

    LeRobot v0.6.0 发布:整合世界模型策略、奖励评估与部署纠正流程

    LeRobot v0.6.0 将世界模型策略、统一奖励模型 API、仿真评测与部署纠正流程整合进机器人学习闭环。版本接入 VLA-JEPA、FastWAM、LingBot-VA,并新增 6 个仿真基准,统一通过 lerobot-eval 运行;lerobot-rollout 支持 DAgger 式人工接管,将纠正数据用于后续微调。

    推荐理由:部署时记录人工纠正并直接用于下一轮微调,把失败采集接回训练流程,为机器人策略持续改进提供了可复用路径。

7月6日周一
  1. Hugging Face Blog43

    PRX 第 4 部分:训练数据策略

    PRX 团队将公共与内部数据集混合,用 VLM 重新生成图像描述,构建用于训练的流式语料。其 7B 模型预训练重视覆盖面与多样性,采用准确的长描述和轻量过滤。数据管线用 Lance 整理、MDS 流式读取;改用 Qwen3-VL 后,训练时实时计算文本潜在表示,吞吐量代价约为 3–4%。

7月1日周三
6月30日周二
  1. Hugging Face Blog35

    Dharma AI 解析:为什么 AI 专业化不可避免

    Dharma AI 从优化理论、生物演化与市场竞争出发,论证专业化为何是高效 AI 系统的重要方向。无免费午餐定理指出,没有通用优化算法能在所有可能问题上胜过其他算法。在算力、数据与开发时间有限的条件下,聚焦目标任务比无限扩展任务范围更有利于取得高性能。

  2. Google Research69

    Google Research 发布 TabFM,用于表格数据零样本分类与回归

    Google Research 发布表格基础模型 TabFM,通过上下文学习对未见过的表格进行分类与回归,无需针对新任务训练模型或调参。模型完全使用数亿个合成数据集训练,结合行列交替注意力、行压缩与 Transformer 架构,标准配置通过单次前向传播生成预测,另提供加入交叉特征、SVD 特征的 32 路集成配置 TabFM-Ensemble。

    推荐理由:把表格预测改为上下文学习,为减少逐数据集训练和调参提供了不同路径,文中还区分了直接预测与加入特征工程的集成配置。

6月17日周三
  1. Google Research41

    从像素到规划:Google Earth AI 助力自然修复

    Google 发布基于 Earth AI 的矢量化数据集,将英格兰树篱、石墙和小树林的像素地图转化为可用于自然修复规划的生态清单。团队微调 RSF 视觉模型,并结合双层标注、跨网格几何合并与形状分类,识别标准卫星检测容易遗漏的细小生态特征,为土地管理者提供测量和扩展这些特征的数据支持。

6月11日周四
6月5日周五
  1. Google Research70

    Google Research 探索用手机摄像头被动监测心脏健康

    Google Research 在 Nature 发表 PHRM 研究,利用面部解锁后的 8 秒前置摄像头视频,通过深度学习估算心率并汇总每日静息心率。在真实生活验证中,经置信度筛选后的心率平均绝对百分比误差为 6.09%,每日静息心率相对 Fitbit Charge 6 的平均绝对误差为 4.39 bpm,但较深肤色组的心率测量成功率较低。

    推荐理由:研究将真实生活场景中的误差与不同肤色的测量成功率分开呈现,为评估手机健康监测的准确性与覆盖差异提供了参考。

6月4日周四
5月27日周三
5月23日周六
  1. Mistral AI54

    Mistral AI 签署收购 Emmi AI 的最终协议,加速工业 AI 布局

    Mistral AI 本周签署收购物理 AI 公司 Emmi AI 的最终协议,旨在增强物理建模能力并推进面向工程师的 AI 智能体。Emmi AI 创立于奥地利,其模型支持实时仿真和数字孪生,可将耗时多日的计算替换为实时仿真。其联合创始人与超过 30 名研究人员及工程师将于 5 月加入 Mistral AI 的 Science 和 Applied AI 团队。

5月17日周日
5月2日周六
4月22日周三
4月16日周四
  1. Google Research49

    Google Research 的 Simula 如何从第一性原理出发,以机制设计构建真实场景合成数据集

    Google Research 的 Simula 以推理优先、无需种子数据的方法构建完整合成数据集,可分别控制覆盖、多样性、复杂度与质量。研究以 Gemini 2.5 Flash 为教师、Gemma-3 4B 为学生,在五个领域评估,完整系统均优于简化基线。提高数据复杂度有益于数学推理,却损害法律推理表现,数据设计需适配模型能力。

4月9日周四
  1. Google Research50

    ConvApparel:衡量并缩小用户模拟器的真实性差距

    Google Research 的 ConvApparel 数据集与评估框架用于衡量大语言模型用户模拟器与真实用户行为的差距。数据集包含超过 4,000 段服装购物对话、近 15,000 轮交互,参与者被随机分配给有帮助或刻意不配合的 AI 智能体。框架结合群体统计、类人评分与反事实验证,检验模拟器面对陌生情境时的反应是否可信。

4月1日周三
3月25日周三
3月18日周三
  1. Mistral AI51

    Mistral AI 推出 Forge,支持企业用自有知识训练定制模型

    Mistral AI 推出 Forge,让企业基于专有数据构建并持续改进模型,支持预训练、后训练和强化学习。系统支持稠密与 MoE 架构及多模态输入,企业可在自身基础设施环境中运行模型,并使用内部基准、合规规则和领域任务进行评估。Mistral Vibe 等自主智能体可借助 Forge 微调模型、寻找最优超参数、调度任务和生成合成数据,Forge 则负责基础设施并监控相关基准是否出现性能退化。

3月17日周二
3月13日周五