跳到正文

#多模态

今日 3 条
5月17日周日
5月16日周六
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 3.5 系列,率先开放面向智能体与编码的 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型系列,率先开放 3.5 Flash,面向复杂、长流程的智能体与编码任务。官方称其在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)和 MCP Atlas(83.6%)等基准上超过 Gemini 3.1 Pro,输出 token 速度为其他前沿模型的 4 倍。

    推荐理由:官方将智能体与编码基准表现同输出速度、成本放在一起比较,为评估长流程任务中的性能与延迟取舍提供了具体参照。

4月30日周四
  1. Google DeepMind65

    Google DeepMind 探索以 AI co-clinician 支持医生监督下的医疗协作

    Google DeepMind 宣布 AI co-clinician 研究计划,探索让 AI 在医生监督下辅助临床决策,并通过实时音视频与患者互动。系统在 98 个真实情境式初级诊疗问题中有 97 个未出现关键错误;在模拟远程问诊评估的 140 项能力中,68 项达到或超过初级保健医生水平,但医生总体表现更好,尤其在识别危险信号和指导关键体格检查方面。

    推荐理由:研究将证据检索与远程问诊分开评估,呈现了医疗智能体在信息支持上的进展与临床判断上的差距,为理解医生监督的必要性提供具体依据。

4月13日周一
  1. Google DeepMind66

    Google DeepMind 发布 Gemini Robotics-ER 1.6,增强具身推理与仪表读数能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,增强机器人空间推理、多视角理解和任务完成检测,并新增仪表读数能力。官方称其相关能力较 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash 改善,仪表读数结合视觉推理、图像放大、点位标注与代码执行,可处理压力表、液位计等设施巡检场景。

    推荐理由:多视角任务完成判断与仪表读数案例,把具身推理的改进落到机器人重试决策和设施巡检这两个具体应用环节。

4月3日周五
3月29日周日
  1. Google DeepMind73

    Google DeepMind 探索 AI 时代的鼠标指针,将 Gemini 交互融入 Chrome 与 Googlebook

    Google DeepMind 展示由 Gemini 驱动的实验性 AI 指针,并将相关交互原则用于 Chrome 和 Googlebook。其设计结合指向位置、视觉与语义上下文及语音,让用户用“这个”“那个”等简短表达提出请求,实验演示可在 Google AI Studio 体验。

    推荐理由:将指向位置、视觉上下文与语音结合的交互设计,为减少用户在不同应用间搬运内容和编写详细提示词提供了具体思路。

3月25日周三
3月18日周三
  1. Mistral AI51

    Mistral AI 推出 Forge,支持企业用自有知识训练定制模型

    Mistral AI 推出 Forge,让企业基于专有数据构建并持续改进模型,支持预训练、后训练和强化学习。系统支持稠密与 MoE 架构及多模态输入,企业可在自身基础设施环境中运行模型,并使用内部基准、合规规则和领域任务进行评估。Mistral Vibe 等自主智能体可借助 Forge 微调模型、寻找最优超参数、调度任务和生成合成数据,Forge 则负责基础设施并监控相关基准是否出现性能退化。

3月17日周二
  1. Mistral AI78

    Mistral 发布 Mistral Small 4,整合推理、多模态与智能体编码能力

    Mistral 发布 Mistral Small 4,以 Apache 2.0 许可开放,将推理、多模态和智能体编码能力整合进单一模型。该模型采用 MoE 架构,总参数为 119B,每个 token 激活 6B 参数(计入嵌入与输出层为 8B),支持 256k 上下文窗口、文本与图像输入,并可通过 reasoning_effort 调节推理强度。

    推荐理由:将可调推理、图像输入与编码能力放进同一开放模型,为需要兼顾多类任务与部署效率的团队提供了减少模型切换的选型思路。

12月17日周三
  1. Mistral AI66

    Mistral AI 发布 Mistral OCR 3,提升手写、扫描件与复杂表格识别能力

    Mistral AI 发布 Mistral OCR 3,官方称其在表单、扫描文档、复杂表格和手写内容上的整体胜率较 Mistral OCR 2 达到 74%。模型支持提取文本与嵌入图像,输出带 HTML 表格结构的 Markdown,价格为 $2 per 1,000 pages,Batch-API 提供 50% 折扣后为 $1 per 1,000 pages。

    推荐理由:对文档处理流程而言,表格结构保留、批量价格与向后兼容信息提供了具体依据,可用于评估升级成本和接入方式。

12月9日周二
12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3,涵盖 Large 3 与 3B、8B、14B 小模型

    Mistral 发布 Mistral 3 系列,包括 3B、8B、14B 的 Ministral 3,以及激活参数为 41B、总参数为 675B 的混合专家模型 Mistral Large 3,均采用 Apache 2.0 许可证。

    推荐理由:从端侧稠密模型到大型混合专家模型均采用宽松许可证,并给出压缩格式与硬件部署条件,为不同资源预算下的模型选型提供参考。

11月19日周三
  1. Mistral AI44

    Mistral AI:面向德国的 AI

    Mistral AI 扩大对德国的长期投入,与 SAP 和 Helsing 推进战略合作,并计划在未来几个月开设德国办公室、扩充当地团队。与 SAP 的多年合作将打造面向德国和欧洲的主权 AI 技术栈,将模型整合至 SAP AI Foundation;与 Helsing 的合作将加速开发用于国防与安全的视觉-语言-动作模型。

8月1日周五
7月17日周四
  1. Mistral AI71

    Mistral AI 更新 Le Chat,新增深度研究、语音模式与项目空间

    Mistral AI 为 Le Chat 新增 Deep Research 预览模式、语音模式、原生多语言推理、Projects 和高级图像编辑。Deep Research 可规划任务、澄清需求、搜索并生成带引用的结构化报告;语音模式由 Voxtral 支持,多语言推理由 Magistral 驱动。

    推荐理由:项目空间能保留文件、工具与设置,为需要持续研究和多轮交流的工作提供上下文组织方式,减少跨会话整理材料的负担。

5月7日周三
  1. Mistral AI71

    Mistral AI 发布 Mistral Medium 3,主打性能、成本与企业部署的平衡

    Mistral AI 发布 Mistral Medium 3,面向编码、多模态理解等企业场景,支持混合部署、本地部署及 in-VPC 部署。官方称其各项基准表现达到或超过 Claude Sonnet 3.7 的 90%,价格为 $0.4 input / $2 output per M token,并可在至少 4 个 GPU 的自托管环境中部署。

    推荐理由:将基准表现、API 价格与自托管条件放在一起比较,为企业在模型能力、使用成本和部署方式之间取舍提供了具体参考。

3月17日周一
3月7日周五
  1. Mistral AI76

    Mistral 发布文档理解模型 Mistral OCR,API 定价为 1000 pages / $

    Mistral 发布 Mistral OCR 文档理解模型,可从图片和 PDF 中按顺序提取交错的文字与图像,处理表格、公式及复杂布局。其已成为 Le Chat 的默认文档理解模型,API mistral-ocr-latest 今日在 la Plateforme 开放,定价为 1000 pages / $,批量推理时每美元可处理的页数约翻倍。

    推荐理由:对需要处理复杂文档的检索系统,按顺序提取交错的文字与图像比单纯转录文本更有参考价值,也更贴近多模态资料的接入需求。