如何在 SageMaker AI 上使用 vLLM-Omni 构建实时语音应用——第 1 部分
开发者可通过 AWS vLLM-Omni DLC 在 Amazon SageMaker AI 上部署 Qwen3-TTS，实现无需等待完整响应生成的流式语音播放。教程使用持久双向连接发送文本并接收音频块，提供部署脚本和 Gradio 客户端示例。
#语音
#语音
今日 1 条AWS Machine Learning BlogAI 评分4444
AWS Machine Learning BlogAI 评分4747 如何在 Amazon SageMaker AI 上部署 Qwen3-TTS，实现实时个性化语音
Qwen3-TTS-12Hz-1.7B-Base 现可通过 Amazon SageMaker JumpStart 部署至全托管实时推理端点。模型仅需数秒参考音频及转录文本即可克隆声音，无需重新训练，支持跨语言克隆。部署方案使用预构建服务容器，生成 24 kHz 音频，并将音频数据保留在用户的 AWS 环境内。
Google DeepMind精选AI 评分6969 Google DeepMind 推出 Gemini 3.8 Live with Live Avatar，为实时对话加入动态虚拟形象
Google DeepMind 推出 Gemini 3.8 Live with Live Avatar，将近实时视频生成与语音对话结合，即日起在 Gemini Enterprise 提供。
推荐理由：后台工具调用与持续对话并行，让虚拟形象不只承担视听呈现，也能在查询数据和处理任务时保持交互连贯。
AWS Machine Learning BlogAI 评分4444 在 SageMaker AI 上使用 WhisperX 实现带说话人标签的转录
AWS WhisperX 深度学习容器可部署到 Amazon SageMaker AI 实时或异步端点，提供逐词时间戳和说话人标签，无需构建自定义镜像。实时端点适合须在 60 秒内完成处理的短音频，异步端点推荐用于长音频；AWS Samples 提供可运行的部署示例。
Google DeepMind精选AI 评分8181 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS，分别面向深度声音创作与高用量、成本高效的语音生成。
推荐理由：两款模型分别面向角色声音设计与高用量语音生成，创作控制和规模成本的定位差异为不同音频工作流提供了选型依据。
OpenAI NewsAI 评分4242 Ringg 借助 OpenAI 的 AI 智能体解决高达 65% 的客户来电问题
Ringg 借助 OpenAI 的 AI 智能体解决高达 65% 的客户来电问题。其使用 GPT-5.6，为语音、聊天、WhatsApp 和网页渠道提供多语言智能体，成本较 GPT-4.1 降低 90%。
Google DeepMind精选AI 评分8383 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking，分别面向高性价比语音对话与复杂多步推理任务。
推荐理由：两款模型分别侧重规模成本与复杂任务，并将后台工具执行与持续对话结合，为语音智能体的模型选型提供了具体比较维度。
OpenAI News精选AI 评分6969 通过 API 中的 GPT‑Live‑1 构建更自然的语音体验
GPT‑Live‑1 为 API 带来自然的全双工语音对话能力。它还提供更强的指令遵循能力、自定义声音和电话接入支持。
推荐理由：全双工对话之外，指令遵循、自定义声音与电话接入也是语音体验落地的关键维度，材料提供了这些能力的更新概览。
Hugging Face BlogAI 评分4848 Open ASR Leaderboard 新增首个全球南方语言：印地语
Voice Arena 与 Hugging Face 合作，为 Open ASR Leaderboard 新增印地语和印度英语评测，印地语成为榜单首个全球南方语言。评测集包含公开与私有划分，覆盖互不重叠的 4,888 名说话者，每人记录 12 项属性，以支持分析不同人群的识别差异。
Google DeepMind精选AI 评分7777 Gemini 3.5 Transcribe 实现智能语音转写
Google 推出语音转文字模型 Gemini 3.5 Transcribe，支持自动清理口头语、自我纠正、文本格式化及超过 85 种语言的转写。Artificial Analysis 测得其流式和非流式平均词错误率分别为 4.0% 和 2.6%，最终转写耗时较 Chirp 3 改善 70%。
推荐理由：与 Chirp 3 的延迟比较及流式、非流式识别错误率，为开发者在实时语音交互与录音转写之间选择接入方式提供了具体依据。
Google ResearchAI 评分4747 AgentHands：为 XR 中基于空间环境的智能体对话生成交互式手势
Google Research 推出研究原型 AgentHands，让 AI 智能体在 XR 中生成与语音同步、贴合用户物理环境的手势。系统将 LLM 回答中的手势事件绑定到触发词，通过词级时间戳协调语音与动画。研究以 12 名参与者对比纯语音基线，结果显示空间指代效果显著改善。
Mistral AIAI 评分4444 Mistral 与 HUMAIN 宣布战略合作，推进沙特及中东地区主权 AI
Mistral 与 HUMAIN 宣布战略合作，推进沙特及中东地区的主权 AI，涵盖基础设施、模型开发和解决方案部署。双方计划开发和本地化先进模型，初期聚焦网络安全与语音，并开发阿拉伯语表现强劲的前沿模型。Mistral 将探索使用 HUMAIN 数据中心，双方还计划面向沙特受监管行业制定联合市场策略。
Hugging Face Blog精选AI 评分7373 Hugging Face 研究量化语音识别基准优化：部分高分模型复现错误参考转写
Hugging Face 的研究对 11 个开源 ASR 模型开展三类测试，发现部分高分模型在音频与参考文本冲突时仍复现基准答案。在 LibriSpeech 上，部分基准表现较强的模型在约 30–40% 的样本中恢复了已被静音的数字，而若干模型在新采集音频上的这一现象减弱，提示基准相关声学线索可能影响转写。
推荐理由：通过参考错误复现、数字静音和拼写切换三类探针，研究提供了区分真实转写能力与针对公开基准优化的可迁移评估方法。
Hugging Face BlogAI 评分4949 如何用 NVIDIA Magpie TTS 构建低延迟多语言语音智能体：开放权重与完整部署控制
NVIDIA Magpie TTS 以开放权重和自主部署支持低延迟多语言语音智能体构建，可通过 NVIDIA NIM 在自有基础设施运行。模型参数规模为 364M，支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语。本地 NIM 测试中，B200 单流首音频延迟为 32 ms。
Hugging Face Blog精选AI 评分6363 Real World VoiceEQ 发布，以人类评价衡量语音 AI 的真实交互质量
Hume 推出 Real World VoiceEQ 基准，评估超过 40 个闭源与开源语音模型在真实交互中的人类感知质量。基准基于超过 100 万次人类评分开发，覆盖 15+ 个评估维度和超过 60 项指标，涵盖语音识别、语音合成、语音到语音及语音理解。
推荐理由：将准确率、情绪理解与声音一致性分开评估，为语音系统选型提供了按场景比较的依据，而不是依赖单一总分。
Berkeley AI ResearchAI 评分3333 BAIR 2026 届博士毕业生风采展示
伯克利人工智能研究实验室（BAIR）展示了2026届博士毕业生的研究成果与职业去向，涵盖机器人、大语言模型推理、生成模型及AI安全等领域。毕业生将进入高校、博士后岗位和产业研究实验室，或创办公司，部分人仍在寻找机会。
Hugging Face BlogAI 评分5151 Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 展示了接入 Gemma 4 的实时语音到语音演示，以开放、模块化架构和快速推理改善对话响应。流程由 NVIDIA 的 Parakeet 识别语音，在 Cerebras 上运行 Google DeepMind 的 Gemma 4 31B，再由阿里的 Qwen3TTS 生成语音，各组件均可替换。
Google DeepMind精选AI 评分8383 Gemini 3.5 Live Translate 实现流畅自然的语音翻译
Google 发布音频模型 Gemini 3.5 Live Translate，支持自动识别 70+ 种语言并进行近实时语音到语音翻译。模型持续生成译音，保留说话者的语调、节奏和音高，官方称整个会话中仅落后说话者几秒，所有生成音频均带有 SynthID 水印。
推荐理由：相较于等待说话结束再翻译的系统，连续生成译音的方式把上下文质量与跟随延迟的取舍带入实时跨语言沟通。
Google DeepMind精选AI 评分7373 Google 发布 Gemini 3.1 Flash TTS，以音频标签增强语音表达控制
Google 发布文本转语音模型 Gemini 3.1 Flash TTS，新增音频标签，可通过文本中的自然语言指令精细控制声音风格、语速和表达方式。模型原生支持多说话人对话及超过 70 种语言，在 Artificial Analysis TTS 排行榜获得 1,211 Elo，所有生成音频均嵌入 SynthID 水印。
推荐理由：音频标签把语气、语速和句中表达变化纳入文本输入控制，为多角色对话与本地化语音应用提供了更细粒度的创作方式。
Mistral AI精选AI 评分7373 Mistral 发布 Voxtral TTS：4B 参数语音生成模型，支持 9 种语言
Mistral 发布文本转语音模型 Voxtral TTS，以 4B 参数支持 9 种语言的情感表达语音生成及零样本跨语言声音适配。官方称，在输入 10 秒声音样本和 500 个字符的典型条件下，模型延迟为 70ms；其人类评估显示，自然度优于 ElevenLabs Flash v2.5，音频质量与 ElevenLabs v3 相当。
推荐理由：原文将语音自然度的人类评估与具体输入条件下的延迟并列呈现，为企业权衡语音智能体的表达质量与响应速度提供了参考。
Mistral AI精选AI 评分7575 Mistral AI 发布 Voxtral Transcribe 2，覆盖批量与低延迟实时语音转写
Mistral AI 发布 Voxtral Transcribe 2，包括批量转写模型 Voxtral Mini Transcribe V2 和实时模型 Voxtral Realtime，均支持 13 种语言。
推荐理由：批量版的错误率与定价、实时版的延迟与开放权重条件，为语音工作流在成本、响应速度和部署方式之间的取舍提供了具体参照。
Mistral AI精选AI 评分7171 Mistral AI 更新 Le Chat，新增深度研究、语音模式与项目空间
Mistral AI 为 Le Chat 新增 Deep Research 预览模式、语音模式、原生多语言推理、Projects 和高级图像编辑。Deep Research 可规划任务、澄清需求、搜索并生成带引用的结构化报告；语音模式由 Voxtral 支持，多语言推理由 Magistral 驱动。
推荐理由：项目空间能保留文件、工具与设置，为需要持续研究和多轮交流的工作提供上下文组织方式，减少跨会话整理材料的负担。
Mistral AI精选AI 评分7979 Mistral AI 发布 Voxtral 语音理解模型，提供 24B 与 3B 两种规格
Mistral AI 发布 Voxtral 语音理解模型，提供面向生产应用的 24B 和面向本地、端侧部署的 3B 版本，均采用 Apache 2.0 许可证。
推荐理由：将音频问答、摘要和函数调用纳入可开放部署的语音模型，为需要兼顾数据控制与语义理解的应用提供了选型参考。