跳到正文

#部署/工程

今日 0 条
9月25日周五
9月24日周四
9月16日周三
  1. Latent Space60

    TypeSafe 发布决策模型 Jev,宣称比小型前沿 LLM 快超 100 倍、便宜超 200 倍

    TypeSafe 发布 Jev,以 RLCD 训练面向决策、分类、路由和评分的模型,而非自由文本生成模型。正文转述其速度提升 20–200x、成本降低 40–400x 且输出 token 免费的宣称,并介绍了并行采样与校准能力。Jev 需要预定义输出格式,不能生成自由文本,定位是结构化选择的推理引擎,而非通用 LLM 替代品。

8月21日周五
8月11日周二
8月4日周二
7月27日周一
  1. Hugging Face Blog60

    NVIDIA 发布 Cosmos-H-Dreams,将实时生成式仿真引入手术机器人

    NVIDIA 发布手术机器人生成式仿真模型 Cosmos-H-Dreams,通过知识蒸馏和 FlashDreams,在单张 NVIDIA RTX PRO 6000 GPU 上实现约 160 帧/秒的闭环交互。

    推荐理由:从离线轨迹生成转向实时闭环交互的技术路径,为理解手术机器人仿真如何同时降低生成成本与应对长序列误差提供了具体参考。

7月15日周三
  1. Hugging Face Blog79

    Thinking Machines Inkling 登陆 Hugging Face,新增 Inkling-Small 版本

    Thinking Machines Lab 开放多模态模型 Inkling,并新增同架构的 Inkling-Small,原生接收图像、文本和音频输入。Inkling 总参数为 975B、激活参数为 41B,支持 1M 上下文窗口;Inkling-Small 总参数为 276B、激活参数为 12B,提供 MXFP8 和 NVFP4 权重。

    推荐理由:不同精度版本的显存需求与部署配置并列呈现,为比较完整模型和小型版本的硬件门槛提供了具体依据。

6月27日周六
6月23日周二
  1. Mistral AI68

    Mistral 发布 OCR 4:支持 170 种语言,新增边界框、块分类与置信度

    Mistral 发布文档理解模型 Mistral OCR 4,在提取文本的同时返回边界框、块类型及逐页、逐词置信度,支持 10 个语言组的 170 种语言。官方报告其在人类盲评中的平均胜率为 72%,OlmOCRBench 得分为 85.20,同时说明自动基准存在标注与格式匹配局限,竞品分数来自内部复现。

    推荐理由:边界框、块类型和置信度让文档提取结果能同时用于定位引用与安排人工核验,为检索和智能体流程提供更明确的输入结构。

12月17日周三
  1. Mistral AI66

    Mistral AI 发布 Mistral OCR 3,提升手写、扫描件与复杂表格识别能力

    Mistral AI 发布 Mistral OCR 3,官方称其在表单、扫描文档、复杂表格和手写内容上的整体胜率较 Mistral OCR 2 达到 74%。模型支持提取文本与嵌入图像,输出带 HTML 表格结构的 Markdown,价格为 $2 per 1,000 pages,Batch-API 提供 50% 折扣后为 $1 per 1,000 pages。

    推荐理由:对文档处理流程而言,表格结构保留、批量价格与向后兼容信息提供了具体依据,可用于评估升级成本和接入方式。

12月9日周二
12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3,涵盖 Large 3 与 3B、8B、14B 小模型

    Mistral 发布 Mistral 3 系列,包括 3B、8B、14B 的 Ministral 3,以及激活参数为 41B、总参数为 675B 的混合专家模型 Mistral Large 3,均采用 Apache 2.0 许可证。

    推荐理由:从端侧稠密模型到大型混合专家模型均采用宽松许可证,并给出压缩格式与硬件部署条件,为不同资源预算下的模型选型提供参考。

7月30日周三
7月11日周五
6月10日周二
5月7日周三
  1. Mistral AI71

    Mistral AI 发布 Mistral Medium 3,主打性能、成本与企业部署的平衡

    Mistral AI 发布 Mistral Medium 3,面向编码、多模态理解等企业场景,支持混合部署、本地部署及 in-VPC 部署。官方称其各项基准表现达到或超过 Claude Sonnet 3.7 的 90%,价格为 $0.4 input / $2 output per M token,并可在至少 4 个 GPU 的自托管环境中部署。

    推荐理由:将基准表现、API 价格与自托管条件放在一起比较,为企业在模型能力、使用成本和部署方式之间取舍提供了具体参考。