本期编辑三水 鲍勃01 有话题的技术1、亚马逊升级实时语音对话模型 Nova 2.5 Sonic增强多步推理与工具调用准确率降低语音响应延迟亚马逊正式发布实时语音对话模型Amazon Nova 2.5 Sonic相较上一代 Nova 2 Sonic重点提升推理能力、复杂指令遵循和工具调用准确率并降低响应延迟。新模型能够在持续语音对话中保持上下文调用多个外部工具完成连续任务例如查询订单、核查退货条件并发起退货流程。增强多步任务推理与工具调用Nova 2.5 Sonic 改进了语音智能体理解复杂指令、选择工具和连续执行任务的能力。AWS 表示新版本能够更准确地遵循系统提示词和工具调用规则减少多步骤任务中的执行错误但尚未在发布公告中披露具体准确率和延迟改善幅度。保留异步工具调用与可控对话轮次模型沿用上一代的异步工具调用能力外部工具运行期间仍可继续处理用户语音无需等待工具返回才能维持对话。同时支持用户打断、可调节的轮次切换灵敏度以及在同一会话中混合使用语音和文本。支持 7 种语言与长上下文语音交互Nova 2.5 Sonic 保留上一代的多语言语音理解和生成能力支持跨语言保持一致声线。AWS 发布公告注明模型具备256K 上下文窗口可在长时间对话中保留历史信息结合外部工具处理连续任务。接入Bedrock与 Strands Bidi Agents模型已在 Amazon Bedrock 正式上线支持通过双向流式 API 接入实时语音应用。同期正式推出的 Strands Bidi Agents 提供语音智能体开发框架可连接其他智能体和业务工具减少开发者自行管理双向音频流与工具调度的工作量。Nova 2.5 Sonic 已在美国东部、美国西部、欧洲斯德哥尔摩及亚太东京四个 AWS 区域提供服务定价与 Nova 2 Sonic 保持一致。https://aws.amazon.com/about-aws/whats-new/2026/10/amazon-nova-2.5-Sonic/2、端侧 AI 开发者 Shahir 将多模态嵌入模型 EmbeddingGemma 2 改造成语音识别模型M3 MacBook Air 约 13 秒转录 1 小时音频端侧 AI 开发者Shahir M A展示了一项语音识别实验将 Google DeepMind 新开源的多模态嵌入模型EmbeddingGemma 2用于语音转文字ASR。根据开发者公布的测试结果在基础款 M3 MacBook Air 上系统处理一小时音频仅需约13 秒作者称转录速度达到实时播放的288 倍。利用跨模态嵌入空间实现语音转文字EmbeddingGemma 2 是 Google 于 10 月 6 日发布的7.4 亿参数多模态嵌入模型能够将文本、图像、音频和视频映射到统一的 768 维向量空间。Shahir 利用语音与对应文本在共享向量空间中的关联探索从音频表示中直接恢复文字将原本用于多模态检索的模型应用于语音识别任务。基础款 M3 MacBook Air 实现超高速本地转录Shahir 表示其改造后的系统可在设备本地运行一小时音频约 13 秒即可完成转录。EmbeddingGemma 2 采用模块化设计文本编码器约 2.7 亿参数、音频编码器约 3 亿参数可根据任务选择所需组件无需加载视觉编码器。语音识别准确率仍待验证当前公开演示主要展示了本地转录速度尚未提供完整的词错误率WER、测试语种、音频数据集及与 Whisper 等专用 ASR 模型的同条件对比。因此这一结果仍属于开发者实验尚不能证明其在识别质量和通用性上达到成熟语音识别模型的水平。https://github.com/shershah10243、音视频生成研究团队 Kandinsky Lab 开源视频生成模型 Kandinsky 6.03B、29B 两种版本支持音视频同步生成及口型对齐Kandinsky Lab 正式开源视频生成模型系列Kandinsky 6.0 Video包括3B 参数的 Lite 版本和29B 参数的 Pro 版本。相较 Kandinsky 5.0新版本引入联合音视频生成能力支持根据文本或参考图像生成最长5 秒、24fps的视频同时生成44kHz 音频涵盖人物语音、口型同步和环境音效。模型代码与权重均采用 MIT 许可证开放。联合生成视频与音频Kandinsky 6.0 采用双流 CrossDiT 架构将预训练视频生成网络与新训练的音频网络连接通过双向交叉注意力实现画面和声音在时间及语义上的对齐。训练过程先独立训练音频网络再使用配对音视频数据进行联合训练最终结合监督微调、强化学习和蒸馏改善生成效果。提供 3B Lite 与 29B Pro 两种版本Lite 面向较低计算成本的视频生成Pro 则侧重画面质量、复杂运动和摄像机控制。两者均支持文本生成音视频T2AV和图像生成音视频I2AV并可通过独立的超分辨率模型将视频提升至1920×1080。官方人工评测显示Pro 版本的整体表现优于上一代 Kandinsky 5.0 Video Pro语音生成质量也有所改善。开放模型权重与主流推理框架集成官方提供基础模型、微调模型及蒸馏版本其中蒸馏模型将生成过程压缩至10 步。目前已支持 Hugging Face Diffusers、ComfyUI、vLLM-Omni、SGLang 和 FastVideo开发者可下载权重在 GPU 环境中部署也可通过 Hugging Face Spaces 体验 Pro 蒸馏版本。https://github.com/kandinskylab/kandinsky-64、英国语音健康 AI 公司 thymia 发布 2 型糖尿病语音筛查研究仅需 20 秒录音识别与糖尿病相关的潜在声音变化英国语音健康 AI 公司thymia联合澳大利亚皇家墨尔本理工大学RMIT University等机构在欧洲糖尿病研究协会EASD年会上公布了一项基于语音的 2 型糖尿病筛查研究。研究人员通过机器学习分析20 秒语音录音中的声学特征识别与糖尿病相关的潜在声音变化。在 7319 名参与者的验证中模型区分糖尿病患者与非患者的曲线下面积AUC达到0.80并通过糖化血红蛋白HbA1c血液检测进一步验证了预测结果。从声音特征预测糖尿病风险研究团队利用英国和美国21129 人的 63283 段语音样本训练模型再让参与者朗读约 20 秒的伊索寓言提取声音中的细微声学特征并生成风险评分。此前研究发现2 型糖尿病可能伴随声音嘶哑、粗糙度增加以及发声和呼吸控制变化机器学习模型可利用这些人耳难以察觉的信号识别潜在风险。7319 人验证 AUC 达 0.80在英国 7319 名成年人中研究团队根据参与者自报的糖尿病诊断情况评估模型取得0.80 AUC接近英国常用糖尿病风险评估工具 QDiabetes 的0.86 AUC。模型在不同性别及多数年龄组中表现相对稳定但在部分族裔及合并心血管疾病、高血压、肥胖症的人群中识别性能有所下降。血液检测验证灵敏度为 82%但误报率较高研究人员进一步对其中801 名参与者进行 HbA1c 血液检测。以糖尿病诊断阈值作为标准时语音模型取得0.75 AUC能够识别82% 的糖尿病病例但也将47% 的非糖尿病参与者错误判定为高风险。研究团队认为语音分析可用于初步筛选需要进一步检查的人群但不能代替血液检测。目前该研究已公布预印本并在 EASD 年会上报告尚未完成同行评审及临床应用验证。研究团队计划进一步在真实医疗场景中测试模型评估其在不同人群中的可靠性。https://www.forbes.com/sites/fionariley/2026/09/29/ai-voice-test-could-screen-for-type-2-diabetes-research-finds/5、AI 角色陪伴平台 Character.AI 申请破产保护迪士尼拟以 2000 万美元收购部分资产平台面临关闭风险AI 角色对话与陪伴平台Character.AI宣布依据美国《破产法》第 11 章申请破产保护并启动由法院监督的资产出售程序。公司已与迪士尼旗下 Disney Worldwide Services 达成初步协议后者计划以2000 万美元获得 Character.AI 部分知识产权的永久非独占许可及相关权利。此次交易尚需法院批准并允许其他买家提出更高报价。申请破产保护启动资产出售程序Character.AI 表示过去一年面临法律、监管及运营方面的持续压力。董事会在评估其他方案后决定通过破产重组程序出售全部或绝大部分资产以寻求维持业务运营的机会。迪士尼成为 2000 万美元优先竞购方根据双方协议迪士尼将担任资产拍卖的基准竞购方Stalking Horse Bidder拟获得 Character.AI 部分知识产权的永久非独占许可及特定法律请求权。迪士尼此前已聘用 Character.AI 的部分员工并将在过渡期间提供相关技术支持。这并不意味着迪士尼已完成对 Character.AI 平台的整体收购。平台暂时继续运营但可能最终关闭Character.AI 目前仍正常提供角色聊天、AI 语音通话及订阅服务用户数据管理和订阅计费暂不改变。公司预计在11 月底至 12 月初完成资产出售程序。如果最终没有买家提出能够维持平台运营的方案Character.AI 将逐步关闭服务。Character.AI 由前 Google 研究员 Noam Shazeer 和 Daniel De Freitas 于 2021 年创立主要提供用户可创建和交互的 AI 角色及语音陪伴服务。2024 年Google 曾与 Character.AI 达成技术授权协议并聘回两位创始人及部分研究人员。https://blog.character.ai/an-update-on-character-ai/02 有亮点的产品1、 AI 公司 Mistlabs 发布跨设备 AI 助手 Ambi实时理解对话、主动执行任务支持 iPhone、Mac 和 Apple Watch 无缝协作由前 Plaud 高管莫子皓创立的 AI 公司Mistlabs正式推出环境智能助手Ambi将实时语音理解、长期记忆和 AI 智能体任务执行整合到持续运行的交互系统中。Ambi 可以在用户交谈或开会时理解上下文主动整理信息、提出建议并启动后续任务工作进度可在 iPhone、Mac 和 Apple Watch 之间同步无需每次切换设备后重新提供上下文。实时理解对话在交流过程中主动执行任务Ambi 可以在用户授权开启监听后实时转录和理解会议、日常对话中的信息结合日历、历史记录、知识库和网络数据生成建议。例如用户在会议中讨论多个方案时Ambi 可以同步检索背景、比较差异并提前准备后续行动无需等待会议结束再处理录音。跨设备共享记忆与任务状态用户可以在 Apple Watch 上记录想法在 iPhone 上补充信息再通过 Mac 继续工作。Ambi 会保留不同设备间的上下文、任务进度和长期记忆支持在切换设备后继续执行此前启动的任务。Routines 支持长期任务自动执行用户可以设置持续目标让 Ambi 通过连接的应用获取新信息、更新任务进展并提出下一步建议。例如在搬家规划中持续关注房源价格、学校和通勤条件并根据用户新提供的信息更新候选清单。平台支持连接 Slack、Notion、Google Workspace、GitHub 等第三方服务。计划推出独立 AI 可穿戴设备Ambi 目前主要以软件形式运行在苹果设备上。Mistlabs 计划于2027 年初推出配备麦克风、摄像头、屏幕和扬声器的独立可穿戴硬件并进一步探索不同 AI 设备之间的智能体通信能力。这些硬件及设备间通信功能尚未正式开放。Mistlabs 同时披露已累计获得2600 万美元融资投资方包括 Luminous Ventures 和华勤技术。目前 Ambi 已结束测试阶段并开放早期体验申请提供无需绑定支付方式的7 天免费试用。官方表示录音转写后会删除原始音频保留的信息经加密后存储在美国。https://www.ambi.ai/en2、瑞典语音 AI 公司 Klang 融资 1500 万瑞典克朗开源 0.6B 语音识别模型 Pianissimo1 秒转录 1 小时音频速度达 Whisper Large 的 64 倍瑞典语音 AI 公司Klang宣布获得1500 万瑞典克朗融资公司估值达到 1.5 亿瑞典克朗并同步开源瑞典语语音识别模型Pianissimo。该模型基于 NVIDIA Parakeet v3 微调针对瑞典语及地方方言优化在保持接近瑞典国家图书馆 KB-Whisper Large 识别精度的同时批量转录速度提升约64 倍。根据官方测试在 NVIDIA H100 GPU 上模型约 1 秒即可处理 1 小时音频。0.6B 参数模型针对瑞典语和方言优化Pianissimo 沿用 Parakeet v3 的 FastConformer 编码器与 TDT 解码器架构使用约5 万小时瑞典语语音数据进行微调覆盖不同方言并通过噪声、混响和压缩等数据增强提升识别能力。模型还引入局部注意力机制降低长音频处理时的计算开销支持标点恢复、大小写处理和词级时间戳输出。识别错误率降至 4.46%批量处理速度提升 64 倍在 Common Voice 瑞典语测试集上Pianissimo 的词错误率WER为4.46%相比原版 Parakeet v3 的18.54%识别错误减少约 76%在 FLEURS 测试集上的 WER 为6.51%。根据 Klang 在单张 NVIDIA A100 80GB 上的批量测试模型达到2500 倍实时处理速度约为 KB-Whisper Large 的 64 倍但后者在上述测试集上的识别准确率仍略高。开放权重支持本地及欧洲云端部署Pianissimo 已在 Hugging Face 以CC BY 4.0 许可证开放提供 NVIDIA NeMo、Apple MLX 和 ONNX 版本包括适用于 CPU 的量化模型。开发者可以在本地设备或自有基础设施运行也可以通过瑞典云服务商 Berget AI 的实时转录 API 接入在用户说话过程中持续接收识别文本。模型还新增自定义词汇表能力以改善专有名词和领域术语的识别。本轮融资由现有投资者参与Johan Lenander 领投资金将用于持续研发语音与对话 AI 模型、招聘约 10 名员工并拓展欧洲及日本市场。Klang 计划进一步开发能够连接历史对话、理解上下文并支持信息检索的企业对话记忆系统。https://research.klang.ai/papers/klang-pianissimo-sv/3、餐饮语音 AI 公司 Slang AI 发布智能接待员 Superhost能记住常客偏好、识别语气情绪支持 97 种语言餐饮语音 AI 公司Slang AI发布面向全服务餐厅的智能接待员Superhost将原有的 AI 电话接听和预订管理升级为具备长期记忆、情绪感知和主动服务能力的语音智能体。Superhost 能够记住回头客的历史对话、用餐偏好、过敏信息及生日并根据客人说话时的语气调整回应方式让餐厅在不同来电中提供连续、个性化的服务。识别语气情绪支持自然打断与 97 种语言Superhost 能够区分客人不耐烦或满意时说出的同一句「OK」并据此调整回应。客人可以在 AI 说话过程中随时打断、改口或切换话题。系统支持自动识别和切换97 种语言包括通话中途的语言切换餐厅也可自定义声音、口音、语气和品牌话术。建立常客记忆提供个性化接待Superhost 能够关联客人的历史通话、到店记录、座位偏好、食物过敏信息和重要日期在客人再次来电时识别其身份并结合已有预订提供服务。系统还支持餐厅上传菜单及食材信息回答菜品问题并通过持续通话质量监测检查服务表现。从被动接听扩展至主动预订运营Superhost 可与 OpenTable 等餐厅管理系统集成处理特殊节假日预订、多人聚餐及餐饮体验项目预约。Slang AI 还计划让智能体主动联系客人提醒重要日期、跟进未完成的预订和再次到店需求将语音 AI 从电话接待扩展至客户关系维护。目前 Superhost 已开始向全服务餐厅合作伙伴逐步推出部分新功能将在未来数月陆续上线。Slang AI 表示其平台已服务全球数千家餐厅门店顾客满意度超过95%。https://www.slang.ai/post/superhost03 有态度的观点1、rtcStats 联合创始人 Tsahi Levent-LeviRTC 可观测性 API 的第一用户已经是 AI AgentWebRTC 可观测性平台 rtcStats 联合创始人、webrtcHacks 作者 Tsahi Levent-Levi 近日撰文指出开发者工具正在经历一个重要变化最先阅读 API 返回数据、分析日志和定位故障的越来越多是 AI Agent而非开发者本人。但目前大量 API 仍按照人类查看仪表盘的方式设计并不适合 AI Agent 直接消费。Levent-Levi 分享了自己的一次经历他曾让 Claude 通过 MCP 和 API 获取 rtcStats 账户中不到 20 个会话的数据并进行比较分析。结果 Claude 在完成任务前就耗尽了可用 Token让他不得不等待 4.5 小时。这让他意识到过去适合人类查看的数据结构可能成为 AI Agent 的上下文负担。为此rtcStats 调整了 WebRTC 会话分析 API将完整数据和故障诊断结果拆分为两个接口。原有的analyze保留连接、传输、媒体流和时间线等完整记录新增的enrich则直接返回通话质量评分、问题严重程度和结构化异常信息让 AI Agent 能够快速判断一次通话出了什么问题。在一段 1 分 45 秒的真实测试通话中完整分析接口返回约 46.5 KB 的 JSON而新接口仅返回约 2.3 KB数据量减少约 95%。AI Agent 可以先获取精简诊断结果只有在需要进一步排查时才读取完整会话数据。Levent-Levi 认为随着 AI Agent 越来越多地承担开发、调试和运维工作开发者工具需要重新考虑 API 的设计对象。过去 API 主要为存储、展示和人类操作服务而面向 AI Agent 的 API需要优先考虑机器能否直接理解结果、避免无关数据占用上下文并以更少的 Token 完成任务。https://rtcstats.com/blog/api-for-humans-vs-api-for-agents Voice Agent 学习笔记了解最懂 AI 语音的头脑都在思考什么写在最后我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创感兴趣的朋友请通过开发者社区或公众号留言联系记得报暗号「共创」。对于任何反馈包括但不限于内容上、形式上我们不胜感激、并有小惊喜回馈例如你希望从日报中看到哪些内容自己推荐的信源、项目、话题、活动等或者列举几个你喜欢看、平时常看的内容渠道内容排版或呈现形式上有哪些可以改进的地方等。作者提示: 个人观点仅供参考 
长河君 · 2026/10/15 19:31:43 · 阅读 1.2k Character.AI 申请破产保护，迪士尼拟 2000 万美元竞购部分资产；前 Plaud 高管发布实时智能助手 Ambi，融资 2600 万美元丨日报
本期编辑三水 鲍勃01 有话题的技术1、亚马逊升级实时语音对话模型 Nova 2.5 Sonic增强多步推理与工具调用准确率降低语音响应延迟亚马逊正式发布实时语音对话模型Amazon Nova 2.5 Sonic相较上一代 Nova 2 Sonic重点提升推理能力、复杂指令遵循和工具调用准确率并降低响应延迟。新模型能够在持续语音对话中保持上下文调用多个外部工具完成连续任务例如查询订单、核查退货条件并发起退货流程。增强多步任务推理与工具调用Nova 2.5 Sonic 改进了语音智能体理解复杂指令、选择工具和连续执行任务的能力。AWS 表示新版本能够更准确地遵循系统提示词和工具调用规则减少多步骤任务中的执行错误但尚未在发布公告中披露具体准确率和延迟改善幅度。保留异步工具调用与可控对话轮次模型沿用上一代的异步工具调用能力外部工具运行期间仍可继续处理用户语音无需等待工具返回才能维持对话。同时支持用户打断、可调节的轮次切换灵敏度以及在同一会话中混合使用语音和文本。支持 7 种语言与长上下文语音交互Nova 2.5 Sonic 保留上一代的多语言语音理解和生成能力支持跨语言保持一致声线。AWS 发布公告注明模型具备256K 上下文窗口可在长时间对话中保留历史信息结合外部工具处理连续任务。接入Bedrock与 Strands Bidi Agents模型已在 Amazon Bedrock 正式上线支持通过双向流式 API 接入实时语音应用。同期正式推出的 Strands Bidi Agents 提供语音智能体开发框架可连接其他智能体和业务工具减少开发者自行管理双向音频流与工具调度的工作量。Nova 2.5 Sonic 已在美国东部、美国西部、欧洲斯德哥尔摩及亚太东京四个 AWS 区域提供服务定价与 Nova 2 Sonic 保持一致。https://aws.amazon.com/about-aws/whats-new/2026/10/amazon-nova-2.5-Sonic/2、端侧 AI 开发者 Shahir 将多模态嵌入模型 EmbeddingGemma 2 改造成语音识别模型M3 MacBook Air 约 13 秒转录 1 小时音频端侧 AI 开发者Shahir M A展示了一项语音识别实验将 Google DeepMind 新开源的多模态嵌入模型EmbeddingGemma 2用于语音转文字ASR。根据开发者公布的测试结果在基础款 M3 MacBook Air 上系统处理一小时音频仅需约13 秒作者称转录速度达到实时播放的288 倍。利用跨模态嵌入空间实现语音转文字EmbeddingGemma 2 是 Google 于 10 月 6 日发布的7.4 亿参数多模态嵌入模型能够将文本、图像、音频和视频映射到统一的 768 维向量空间。Shahir 利用语音与对应文本在共享向量空间中的关联探索从音频表示中直接恢复文字将原本用于多模态检索的模型应用于语音识别任务。基础款 M3 MacBook Air 实现超高速本地转录Shahir 表示其改造后的系统可在设备本地运行一小时音频约 13 秒即可完成转录。EmbeddingGemma 2 采用模块化设计文本编码器约 2.7 亿参数、音频编码器约 3 亿参数可根据任务选择所需组件无需加载视觉编码器。语音识别准确率仍待验证当前公开演示主要展示了本地转录速度尚未提供完整的词错误率WER、测试语种、音频数据集及与 Whisper 等专用 ASR 模型的同条件对比。因此这一结果仍属于开发者实验尚不能证明其在识别质量和通用性上达到成熟语音识别模型的水平。https://github.com/shershah10243、音视频生成研究团队 Kandinsky Lab 开源视频生成模型 Kandinsky 6.03B、29B 两种版本支持音视频同步生成及口型对齐Kandinsky Lab 正式开源视频生成模型系列Kandinsky 6.0 Video包括3B 参数的 Lite 版本和29B 参数的 Pro 版本。相较 Kandinsky 5.0新版本引入联合音视频生成能力支持根据文本或参考图像生成最长5 秒、24fps的视频同时生成44kHz 音频涵盖人物语音、口型同步和环境音效。模型代码与权重均采用 MIT 许可证开放。联合生成视频与音频Kandinsky 6.0 采用双流 CrossDiT 架构将预训练视频生成网络与新训练的音频网络连接通过双向交叉注意力实现画面和声音在时间及语义上的对齐。训练过程先独立训练音频网络再使用配对音视频数据进行联合训练最终结合监督微调、强化学习和蒸馏改善生成效果。提供 3B Lite 与 29B Pro 两种版本Lite 面向较低计算成本的视频生成Pro 则侧重画面质量、复杂运动和摄像机控制。两者均支持文本生成音视频T2AV和图像生成音视频I2AV并可通过独立的超分辨率模型将视频提升至1920×1080。官方人工评测显示Pro 版本的整体表现优于上一代 Kandinsky 5.0 Video Pro语音生成质量也有所改善。开放模型权重与主流推理框架集成官方提供基础模型、微调模型及蒸馏版本其中蒸馏模型将生成过程压缩至10 步。目前已支持 Hugging Face Diffusers、ComfyUI、vLLM-Omni、SGLang 和 FastVideo开发者可下载权重在 GPU 环境中部署也可通过 Hugging Face Spaces 体验 Pro 蒸馏版本。https://github.com/kandinskylab/kandinsky-64、英国语音健康 AI 公司 thymia 发布 2 型糖尿病语音筛查研究仅需 20 秒录音识别与糖尿病相关的潜在声音变化英国语音健康 AI 公司thymia联合澳大利亚皇家墨尔本理工大学RMIT University等机构在欧洲糖尿病研究协会EASD年会上公布了一项基于语音的 2 型糖尿病筛查研究。研究人员通过机器学习分析20 秒语音录音中的声学特征识别与糖尿病相关的潜在声音变化。在 7319 名参与者的验证中模型区分糖尿病患者与非患者的曲线下面积AUC达到0.80并通过糖化血红蛋白HbA1c血液检测进一步验证了预测结果。从声音特征预测糖尿病风险研究团队利用英国和美国21129 人的 63283 段语音样本训练模型再让参与者朗读约 20 秒的伊索寓言提取声音中的细微声学特征并生成风险评分。此前研究发现2 型糖尿病可能伴随声音嘶哑、粗糙度增加以及发声和呼吸控制变化机器学习模型可利用这些人耳难以察觉的信号识别潜在风险。7319 人验证 AUC 达 0.80在英国 7319 名成年人中研究团队根据参与者自报的糖尿病诊断情况评估模型取得0.80 AUC接近英国常用糖尿病风险评估工具 QDiabetes 的0.86 AUC。模型在不同性别及多数年龄组中表现相对稳定但在部分族裔及合并心血管疾病、高血压、肥胖症的人群中识别性能有所下降。血液检测验证灵敏度为 82%但误报率较高研究人员进一步对其中801 名参与者进行 HbA1c 血液检测。以糖尿病诊断阈值作为标准时语音模型取得0.75 AUC能够识别82% 的糖尿病病例但也将47% 的非糖尿病参与者错误判定为高风险。研究团队认为语音分析可用于初步筛选需要进一步检查的人群但不能代替血液检测。目前该研究已公布预印本并在 EASD 年会上报告尚未完成同行评审及临床应用验证。研究团队计划进一步在真实医疗场景中测试模型评估其在不同人群中的可靠性。https://www.forbes.com/sites/fionariley/2026/09/29/ai-voice-test-could-screen-for-type-2-diabetes-research-finds/5、AI 角色陪伴平台 Character.AI 申请破产保护迪士尼拟以 2000 万美元收购部分资产平台面临关闭风险AI 角色对话与陪伴平台Character.AI宣布依据美国《破产法》第 11 章申请破产保护并启动由法院监督的资产出售程序。公司已与迪士尼旗下 Disney Worldwide Services 达成初步协议后者计划以2000 万美元获得 Character.AI 部分知识产权的永久非独占许可及相关权利。此次交易尚需法院批准并允许其他买家提出更高报价。申请破产保护启动资产出售程序Character.AI 表示过去一年面临法律、监管及运营方面的持续压力。董事会在评估其他方案后决定通过破产重组程序出售全部或绝大部分资产以寻求维持业务运营的机会。迪士尼成为 2000 万美元优先竞购方根据双方协议迪士尼将担任资产拍卖的基准竞购方Stalking Horse Bidder拟获得 Character.AI 部分知识产权的永久非独占许可及特定法律请求权。迪士尼此前已聘用 Character.AI 的部分员工并将在过渡期间提供相关技术支持。这并不意味着迪士尼已完成对 Character.AI 平台的整体收购。平台暂时继续运营但可能最终关闭Character.AI 目前仍正常提供角色聊天、AI 语音通话及订阅服务用户数据管理和订阅计费暂不改变。公司预计在11 月底至 12 月初完成资产出售程序。如果最终没有买家提出能够维持平台运营的方案Character.AI 将逐步关闭服务。Character.AI 由前 Google 研究员 Noam Shazeer 和 Daniel De Freitas 于 2021 年创立主要提供用户可创建和交互的 AI 角色及语音陪伴服务。2024 年Google 曾与 Character.AI 达成技术授权协议并聘回两位创始人及部分研究人员。https://blog.character.ai/an-update-on-character-ai/02 有亮点的产品1、 AI 公司 Mistlabs 发布跨设备 AI 助手 Ambi实时理解对话、主动执行任务支持 iPhone、Mac 和 Apple Watch 无缝协作由前 Plaud 高管莫子皓创立的 AI 公司Mistlabs正式推出环境智能助手Ambi将实时语音理解、长期记忆和 AI 智能体任务执行整合到持续运行的交互系统中。Ambi 可以在用户交谈或开会时理解上下文主动整理信息、提出建议并启动后续任务工作进度可在 iPhone、Mac 和 Apple Watch 之间同步无需每次切换设备后重新提供上下文。实时理解对话在交流过程中主动执行任务Ambi 可以在用户授权开启监听后实时转录和理解会议、日常对话中的信息结合日历、历史记录、知识库和网络数据生成建议。例如用户在会议中讨论多个方案时Ambi 可以同步检索背景、比较差异并提前准备后续行动无需等待会议结束再处理录音。跨设备共享记忆与任务状态用户可以在 Apple Watch 上记录想法在 iPhone 上补充信息再通过 Mac 继续工作。Ambi 会保留不同设备间的上下文、任务进度和长期记忆支持在切换设备后继续执行此前启动的任务。Routines 支持长期任务自动执行用户可以设置持续目标让 Ambi 通过连接的应用获取新信息、更新任务进展并提出下一步建议。例如在搬家规划中持续关注房源价格、学校和通勤条件并根据用户新提供的信息更新候选清单。平台支持连接 Slack、Notion、Google Workspace、GitHub 等第三方服务。计划推出独立 AI 可穿戴设备Ambi 目前主要以软件形式运行在苹果设备上。Mistlabs 计划于2027 年初推出配备麦克风、摄像头、屏幕和扬声器的独立可穿戴硬件并进一步探索不同 AI 设备之间的智能体通信能力。这些硬件及设备间通信功能尚未正式开放。Mistlabs 同时披露已累计获得2600 万美元融资投资方包括 Luminous Ventures 和华勤技术。目前 Ambi 已结束测试阶段并开放早期体验申请提供无需绑定支付方式的7 天免费试用。官方表示录音转写后会删除原始音频保留的信息经加密后存储在美国。https://www.ambi.ai/en2、瑞典语音 AI 公司 Klang 融资 1500 万瑞典克朗开源 0.6B 语音识别模型 Pianissimo1 秒转录 1 小时音频速度达 Whisper Large 的 64 倍瑞典语音 AI 公司Klang宣布获得1500 万瑞典克朗融资公司估值达到 1.5 亿瑞典克朗并同步开源瑞典语语音识别模型Pianissimo。该模型基于 NVIDIA Parakeet v3 微调针对瑞典语及地方方言优化在保持接近瑞典国家图书馆 KB-Whisper Large 识别精度的同时批量转录速度提升约64 倍。根据官方测试在 NVIDIA H100 GPU 上模型约 1 秒即可处理 1 小时音频。0.6B 参数模型针对瑞典语和方言优化Pianissimo 沿用 Parakeet v3 的 FastConformer 编码器与 TDT 解码器架构使用约5 万小时瑞典语语音数据进行微调覆盖不同方言并通过噪声、混响和压缩等数据增强提升识别能力。模型还引入局部注意力机制降低长音频处理时的计算开销支持标点恢复、大小写处理和词级时间戳输出。识别错误率降至 4.46%批量处理速度提升 64 倍在 Common Voice 瑞典语测试集上Pianissimo 的词错误率WER为4.46%相比原版 Parakeet v3 的18.54%识别错误减少约 76%在 FLEURS 测试集上的 WER 为6.51%。根据 Klang 在单张 NVIDIA A100 80GB 上的批量测试模型达到2500 倍实时处理速度约为 KB-Whisper Large 的 64 倍但后者在上述测试集上的识别准确率仍略高。开放权重支持本地及欧洲云端部署Pianissimo 已在 Hugging Face 以CC BY 4.0 许可证开放提供 NVIDIA NeMo、Apple MLX 和 ONNX 版本包括适用于 CPU 的量化模型。开发者可以在本地设备或自有基础设施运行也可以通过瑞典云服务商 Berget AI 的实时转录 API 接入在用户说话过程中持续接收识别文本。模型还新增自定义词汇表能力以改善专有名词和领域术语的识别。本轮融资由现有投资者参与Johan Lenander 领投资金将用于持续研发语音与对话 AI 模型、招聘约 10 名员工并拓展欧洲及日本市场。Klang 计划进一步开发能够连接历史对话、理解上下文并支持信息检索的企业对话记忆系统。https://research.klang.ai/papers/klang-pianissimo-sv/3、餐饮语音 AI 公司 Slang AI 发布智能接待员 Superhost能记住常客偏好、识别语气情绪支持 97 种语言餐饮语音 AI 公司Slang AI发布面向全服务餐厅的智能接待员Superhost将原有的 AI 电话接听和预订管理升级为具备长期记忆、情绪感知和主动服务能力的语音智能体。Superhost 能够记住回头客的历史对话、用餐偏好、过敏信息及生日并根据客人说话时的语气调整回应方式让餐厅在不同来电中提供连续、个性化的服务。识别语气情绪支持自然打断与 97 种语言Superhost 能够区分客人不耐烦或满意时说出的同一句「OK」并据此调整回应。客人可以在 AI 说话过程中随时打断、改口或切换话题。系统支持自动识别和切换97 种语言包括通话中途的语言切换餐厅也可自定义声音、口音、语气和品牌话术。建立常客记忆提供个性化接待Superhost 能够关联客人的历史通话、到店记录、座位偏好、食物过敏信息和重要日期在客人再次来电时识别其身份并结合已有预订提供服务。系统还支持餐厅上传菜单及食材信息回答菜品问题并通过持续通话质量监测检查服务表现。从被动接听扩展至主动预订运营Superhost 可与 OpenTable 等餐厅管理系统集成处理特殊节假日预订、多人聚餐及餐饮体验项目预约。Slang AI 还计划让智能体主动联系客人提醒重要日期、跟进未完成的预订和再次到店需求将语音 AI 从电话接待扩展至客户关系维护。目前 Superhost 已开始向全服务餐厅合作伙伴逐步推出部分新功能将在未来数月陆续上线。Slang AI 表示其平台已服务全球数千家餐厅门店顾客满意度超过95%。https://www.slang.ai/post/superhost03 有态度的观点1、rtcStats 联合创始人 Tsahi Levent-LeviRTC 可观测性 API 的第一用户已经是 AI AgentWebRTC 可观测性平台 rtcStats 联合创始人、webrtcHacks 作者 Tsahi Levent-Levi 近日撰文指出开发者工具正在经历一个重要变化最先阅读 API 返回数据、分析日志和定位故障的越来越多是 AI Agent而非开发者本人。但目前大量 API 仍按照人类查看仪表盘的方式设计并不适合 AI Agent 直接消费。Levent-Levi 分享了自己的一次经历他曾让 Claude 通过 MCP 和 API 获取 rtcStats 账户中不到 20 个会话的数据并进行比较分析。结果 Claude 在完成任务前就耗尽了可用 Token让他不得不等待 4.5 小时。这让他意识到过去适合人类查看的数据结构可能成为 AI Agent 的上下文负担。为此rtcStats 调整了 WebRTC 会话分析 API将完整数据和故障诊断结果拆分为两个接口。原有的analyze保留连接、传输、媒体流和时间线等完整记录新增的enrich则直接返回通话质量评分、问题严重程度和结构化异常信息让 AI Agent 能够快速判断一次通话出了什么问题。在一段 1 分 45 秒的真实测试通话中完整分析接口返回约 46.5 KB 的 JSON而新接口仅返回约 2.3 KB数据量减少约 95%。AI Agent 可以先获取精简诊断结果只有在需要进一步排查时才读取完整会话数据。Levent-Levi 认为随着 AI Agent 越来越多地承担开发、调试和运维工作开发者工具需要重新考虑 API 的设计对象。过去 API 主要为存储、展示和人类操作服务而面向 AI Agent 的 API需要优先考虑机器能否直接理解结果、避免无关数据占用上下文并以更少的 Token 完成任务。https://rtcstats.com/blog/api-for-humans-vs-api-for-agents Voice Agent 学习笔记了解最懂 AI 语音的头脑都在思考什么写在最后我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创感兴趣的朋友请通过开发者社区或公众号留言联系记得报暗号「共创」。对于任何反馈包括但不限于内容上、形式上我们不胜感激、并有小惊喜回馈例如你希望从日报中看到哪些内容自己推荐的信源、项目、话题、活动等或者列举几个你喜欢看、平时常看的内容渠道内容排版或呈现形式上有哪些可以改进的地方等。作者提示: 个人观点仅供参考