跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 21–39 条 · 共 39 条
6月23日周二
  1. Mistral AI68

    Mistral 发布 OCR 4:支持 170 种语言,新增边界框、块分类与置信度

    Mistral 发布文档理解模型 Mistral OCR 4,在提取文本的同时返回边界框、块类型及逐页、逐词置信度,支持 10 个语言组的 170 种语言。官方报告其在人类盲评中的平均胜率为 72%,OlmOCRBench 得分为 85.20,同时说明自动基准存在标注与格式匹配局限,竞品分数来自内部复现。

    推荐理由:边界框、块类型和置信度让文档提取结果能同时用于定位引用与安排人工核验,为检索和智能体流程提供更明确的输入结构。

6月13日周六
  1. Google Research63

    Google Research 研究 AI 如何帮助用户理解皮肤问题及其决策局限

    Google Research 分享的研究发现,AI 辅助能提高用户识别皮肤问题的准确率,但未显著改善标准 AI 组选择后续医疗步骤的准确率。本周发表于 JAMA Dermatology 的研究纳入 2,345 名参与者,AI 组病症名称猜测准确率为 23%,对照组为 8%;AI 组建议的处理紧迫程度低于皮肤科医生判断的比例为 30%,对照组为 27%。

    推荐理由:研究区分了识别皮肤问题与选择就医步骤两种能力,为理解医疗信息工具的准确率提升为何不等于决策改善提供了具体对照。

6月9日周二
  1. Google DeepMind79

    Google DeepMind 发布 Gemma 4 12B:统一、无编码器的多模态模型

    Google DeepMind 发布 Gemma 4 12B,采用统一的无编码器架构,将视觉与音频输入直接接入 LLM 主干,面向笔记本本地多模态智能体应用。官方称其标准基准表现接近 26B MoE 模型,总内存占用不到后者一半,可在配备 16GB 显存或统一内存的设备上运行,并配备 Multi-Token Prediction(MTP)草稿模型以降低延迟。

    推荐理由:无独立编码器的音视频处理路径与本地内存要求,为评估多模态智能体从大模型迁移到笔记本的资源取舍提供了具体参照。

5月29日周五
  1. Google Research61

    Google Research 回顾 I/O 2026:AI 科研工具、健康研究与智能体开发进展

    Google Research 汇总 I/O 2026 展示的研究与应用进展,涵盖科学发现、健康、端侧 AI、灾害预测及智能体开发等领域。Gemini for Science 将 ERA、Co-Scientist 等研究用于计算实验、假设生成和文献整理,正逐步开放访问,可通过 labs.google/science 登记兴趣。

    推荐理由:从科研假设生成到长时程软件工程,材料展示了多智能体研究进入具体工具的路径,有助于理解研究成果与产品工作流的连接。

5月18日周一
5月17日周日
5月16日周六
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 3.5 系列,率先开放面向智能体与编码的 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型系列,率先开放 3.5 Flash,面向复杂、长流程的智能体与编码任务。官方称其在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)和 MCP Atlas(83.6%)等基准上超过 Gemini 3.1 Pro,输出 token 速度为其他前沿模型的 4 倍。

    推荐理由:官方将智能体与编码基准表现同输出速度、成本放在一起比较,为评估长流程任务中的性能与延迟取舍提供了具体参照。

4月30日周四
  1. Google DeepMind65

    Google DeepMind 探索以 AI co-clinician 支持医生监督下的医疗协作

    Google DeepMind 宣布 AI co-clinician 研究计划,探索让 AI 在医生监督下辅助临床决策,并通过实时音视频与患者互动。系统在 98 个真实情境式初级诊疗问题中有 97 个未出现关键错误;在模拟远程问诊评估的 140 项能力中,68 项达到或超过初级保健医生水平,但医生总体表现更好,尤其在识别危险信号和指导关键体格检查方面。

    推荐理由:研究将证据检索与远程问诊分开评估,呈现了医疗智能体在信息支持上的进展与临床判断上的差距,为理解医生监督的必要性提供具体依据。

4月13日周一
  1. Google DeepMind66

    Google DeepMind 发布 Gemini Robotics-ER 1.6,增强具身推理与仪表读数能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,增强机器人空间推理、多视角理解和任务完成检测,并新增仪表读数能力。官方称其相关能力较 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash 改善,仪表读数结合视觉推理、图像放大、点位标注与代码执行,可处理压力表、液位计等设施巡检场景。

    推荐理由:多视角任务完成判断与仪表读数案例,把具身推理的改进落到机器人重试决策和设施巡检这两个具体应用环节。

4月3日周五
3月29日周日
  1. Google DeepMind73

    Google DeepMind 探索 AI 时代的鼠标指针,将 Gemini 交互融入 Chrome 与 Googlebook

    Google DeepMind 展示由 Gemini 驱动的实验性 AI 指针,并将相关交互原则用于 Chrome 和 Googlebook。其设计结合指向位置、视觉与语义上下文及语音,让用户用“这个”“那个”等简短表达提出请求,实验演示可在 Google AI Studio 体验。

    推荐理由:将指向位置、视觉上下文与语音结合的交互设计,为减少用户在不同应用间搬运内容和编写详细提示词提供了具体思路。

3月17日周二
  1. Mistral AI78

    Mistral 发布 Mistral Small 4,整合推理、多模态与智能体编码能力

    Mistral 发布 Mistral Small 4,以 Apache 2.0 许可开放,将推理、多模态和智能体编码能力整合进单一模型。该模型采用 MoE 架构,总参数为 119B,每个 token 激活 6B 参数(计入嵌入与输出层为 8B),支持 256k 上下文窗口、文本与图像输入,并可通过 reasoning_effort 调节推理强度。

    推荐理由:将可调推理、图像输入与编码能力放进同一开放模型,为需要兼顾多类任务与部署效率的团队提供了减少模型切换的选型思路。

12月17日周三
  1. Mistral AI66

    Mistral AI 发布 Mistral OCR 3,提升手写、扫描件与复杂表格识别能力

    Mistral AI 发布 Mistral OCR 3,官方称其在表单、扫描文档、复杂表格和手写内容上的整体胜率较 Mistral OCR 2 达到 74%。模型支持提取文本与嵌入图像,输出带 HTML 表格结构的 Markdown,价格为 $2 per 1,000 pages,Batch-API 提供 50% 折扣后为 $1 per 1,000 pages。

    推荐理由:对文档处理流程而言,表格结构保留、批量价格与向后兼容信息提供了具体依据,可用于评估升级成本和接入方式。

12月9日周二
12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3,涵盖 Large 3 与 3B、8B、14B 小模型

    Mistral 发布 Mistral 3 系列,包括 3B、8B、14B 的 Ministral 3,以及激活参数为 41B、总参数为 675B 的混合专家模型 Mistral Large 3,均采用 Apache 2.0 许可证。

    推荐理由:从端侧稠密模型到大型混合专家模型均采用宽松许可证,并给出压缩格式与硬件部署条件,为不同资源预算下的模型选型提供参考。

7月17日周四
  1. Mistral AI71

    Mistral AI 更新 Le Chat,新增深度研究、语音模式与项目空间

    Mistral AI 为 Le Chat 新增 Deep Research 预览模式、语音模式、原生多语言推理、Projects 和高级图像编辑。Deep Research 可规划任务、澄清需求、搜索并生成带引用的结构化报告;语音模式由 Voxtral 支持,多语言推理由 Magistral 驱动。

    推荐理由:项目空间能保留文件、工具与设置,为需要持续研究和多轮交流的工作提供上下文组织方式,减少跨会话整理材料的负担。

5月7日周三
  1. Mistral AI71

    Mistral AI 发布 Mistral Medium 3,主打性能、成本与企业部署的平衡

    Mistral AI 发布 Mistral Medium 3,面向编码、多模态理解等企业场景,支持混合部署、本地部署及 in-VPC 部署。官方称其各项基准表现达到或超过 Claude Sonnet 3.7 的 90%,价格为 $0.4 input / $2 output per M token,并可在至少 4 个 GPU 的自托管环境中部署。

    推荐理由:将基准表现、API 价格与自托管条件放在一起比较,为企业在模型能力、使用成本和部署方式之间取舍提供了具体参考。

3月17日周一
3月7日周五
  1. Mistral AI76

    Mistral 发布文档理解模型 Mistral OCR,API 定价为 1000 pages / $

    Mistral 发布 Mistral OCR 文档理解模型,可从图片和 PDF 中按顺序提取交错的文字与图像,处理表格、公式及复杂布局。其已成为 Le Chat 的默认文档理解模型,API mistral-ocr-latest 今日在 la Plateforme 开放,定价为 1000 pages / $,批量推理时每美元可处理的页数约翻倍。

    推荐理由:对需要处理复杂文档的检索系统,按顺序提取交错的文字与图像比单纯转录文本更有参考价值,也更贴近多模态资料的接入需求。