在 SageMaker AI 上使用 vLLM-Omni 生成图像和视频教程(第 2 部分)
AWS 的示例在 SageMaker AI 上使用同一 vLLM-Omni 容器部署图像与视频端点,实现从文本生成图像再转为短视频。FLUX.2-klein-4B 通过实时推理生成图像,Wan2.1-VACE-1.3B 通过异步推理生成视频,MP4 存入 Amazon S3。
AWS 的示例在 SageMaker AI 上使用同一 vLLM-Omni 容器部署图像与视频端点,实现从文本生成图像再转为短视频。FLUX.2-klein-4B 通过实时推理生成图像,Wan2.1-VACE-1.3B 通过异步推理生成视频,MP4 存入 Amazon S3。
Condé Nast 与 AWS 基于 Amazon Bedrock 构建多模态视频检索系统,将超过 140,000 条视频库的单次内容查找时间从 250 分钟缩短至约 2 分钟。
Claude Opus 5.5 本周发布后获得积极的社区反馈,其中通过代码制作讲解视频和动画的案例尤为突出。一位用户称,Claude Code 为 Friendr.nl 自主制作了 30–60s 讲解视频,耗时约 1.5–2h、花费约 $4,涵盖脚本、素材、TTS 配音及以 JavaScript canvas 动画渲染 MP4,并调用另一模型自检。
Runway 的 GWM Worlds 2 研究预览通过 WorldPrompt 指定生成世界、首帧和带时间戳的事件,并支持实时输入动作提示词。团队在采访中解释,其音视频模型经过格式微调、自回归后训练和知识蒸馏,实现连续 720p、24 fps 视频与 48,000 Hz 音频生成。
Google Research 介绍基于 Gemini 和 Veo 的多智能体视频研究,通过全局优化与世界状态跟踪改善长视频的叙事及视觉一致性。Co-Director 负责创意统筹,CANVAS 维护视觉记忆,A²RD 进行分段生成,VQQA 通过视觉问答反馈优化提示词而非直接编辑像素。
推荐理由:研究将长视频的一致性问题拆成创意规划、视觉记忆、分段生成与反馈优化,为理解多智能体如何缓解跨镜头漂移提供了具体框架。
Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,将近实时视频生成与语音对话结合,即日起在 Gemini Enterprise 提供。
推荐理由:后台工具调用与持续对话并行,让虚拟形象不只承担视听呈现,也能在查询数据和处理任务时保持交互连贯。
Google DeepMind 推出智能体式视频理解功能,支持 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite。该功能通过原生视频工具动态搜索和检查画面、音频及转录文本,官方基准显示 token 消耗最多降低 88%、分析成本最多降低 66%、准确率最多提升 7%。
推荐理由:相较固定帧率处理,按任务动态检索视频片段提供了降低长视频分析开销的具体路径,也给出了准确率与成本的对照。
Google DeepMind 推出 Gemini Omni 1.1 Flash,新增场景延长、首尾帧插值、360p 预览及最高 4K 放大输出等视频创作能力。
推荐理由:低分辨率预览与高分辨率输出被纳入同一视频工作流,为开发者在创意迭代成本和最终成片质量之间提供了具体取舍路径。
Google Research 的 AMIE (Video) 在涵盖 100 个场景、300 次模拟问诊的随机研究中,核心临床能力获评与初级保健医生相当。系统基于 Gemini 和 Project Astra,通过对话、规划、感知三个异步智能体并行处理交流、临床推理和视听线索,在引导患者演员进行虚拟体格检查方面的平均评分显著高于医生组及文本版 AMIE。
推荐理由:研究将视频问诊与文本问诊、医生问诊放在同一模拟框架中比较,帮助区分视听感知带来的收益与真实临床适用性的边界。
Google DeepMind 发布 Nano Banana 2 Lite,并向开发者开放 Gemini Omni Flash,分别用于快速图像生成和视频生成、对话式编辑。
推荐理由:文中明确区分图像模型的速度、成本与质量定位,并列出视频模型的输入处理限制,为多媒体工作流选型提供具体依据。