如何用 Gemini Live API 三步搭出实时语音对话应用完整快速上手指南【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook你说开灯AI 却过了 5 秒才回话——这种来回延迟是传统语音助手最大的硬伤。Gemini Live API解决的就是它音频按帧流式传输模型实时逐帧回应还能被你随时打断。仓库里就有现成示例3 条命令就能跑通第一段对话。快速上手3 条命令跑通语音对话先把代码和依赖拿到手git clone https://gitcode.com/GitHub_Trending/coo/cookbook pip install -U google-genai pyaudiomacOS 用户另需执行brew install portaudio。然后设置密钥并启动示例export GEMINI_API_KEY你的密钥 python quickstarts/Get_started_LiveAPI_NativeAudio.py示例脚本里有几组关键参数值得留意上行采样率 16000Hz、下行 24000Hz、每块 1024 帧单声道 16 位 PCM。配置里把response_modalities设为[AUDIO]并开启proactive_audio模型就会主动开口说话CONFIG { response_modalities: [AUDIO], proactivity: {proactive_audio: True} }启动后戴上耳机直接开口聊就行。它是怎么做到不用等你说完才回话的白话讲原理它像一部电话不是传信传统聊天机器人像写信写一封、寄一封、等几天回信。Live API 更像打电话——线路一直通着双方随时可以插话。示例脚本用 4 个后台任务并行工作像一座城堡的四座塔楼听音塔持续捕获麦克风音频上塔把音频帧发出去收塔下载模型的回音播塔通过扬声器播放中间用两个队列衔接数据。当你插话时模型发出turn_complete回合结束信号程序随即清空播放队列你听到的声音立刻停住不会自说自话。四座塔各司其职队列衔接音频流——Live API 实时音频管道就像一个分工明确的城堡看懂了机制自然要问它实际能干什么实战场景3 个方向可以直接上手️ 日常语音助手解决打字累、来回等的问题。在 Get_started_LiveAPI.py 里把文本输入换成麦克风音频你就得到一个能理解多轮上下文的语音助手。 物联网语音控制想把语音控制搬到硬件上参考 examples/iot/esp32/voice_led_controller/ESP32 用麦克风采集声音发给 Gemini API再根据响应点亮 LED 灯环从软件原型走到实体装置。按图接好麦克风、ESP32 与 LED 灯环实时语音指令就能直接驱动硬件实时翻译与多模态扩展解决语言隔阂和只靠音频不够的问题。quickstarts/websockets/ 目录里有音频流实时翻译Live Translation的示例以及 Live API 调用工具的示例可以把音频和视频、文本输入叠在同一通电话里。机制清楚了真上手时最容易栽进几个坑提前看一眼。避坑指南4 个最容易卡住的问题坑AI 不停打断自己。系统默认扬声器和麦克风通常没有回声消除麦克风会拾取到 AI 自己的声音。正确做法始终戴耳机调试。坑音频发出去发杂、节奏不对。上下行采样率不同上行 16000Hz、下行 24000Hz别混用块大小保持 1024 帧。坑启动报asyncio.TaskGroup不存在。说明你的 Python 低于 3.11正确做法是补装pip install taskgroup。坑AI 说话风格不对味。用system_instruction指定语气和结尾追问习惯别指望模型默认表现。坑绕过去了就差最后一步。收尾Gemini Live API的价值在于把发一封回一封压缩成双向实时音频流语音应用从能对话变成像打电话。今天就去 quickstarts/ 目录跑一遍Get_started_LiveAPI_NativeAudio.py戴上耳机你会在示例加载完之前就先听到它开口。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/9/9 14:10:26 · 阅读 1.2k 如何用 Gemini Live API 三步搭出实时语音对话应用：完整快速上手指南
如何用 Gemini Live API 三步搭出实时语音对话应用完整快速上手指南【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook你说开灯AI 却过了 5 秒才回话——这种来回延迟是传统语音助手最大的硬伤。Gemini Live API解决的就是它音频按帧流式传输模型实时逐帧回应还能被你随时打断。仓库里就有现成示例3 条命令就能跑通第一段对话。快速上手3 条命令跑通语音对话先把代码和依赖拿到手git clone https://gitcode.com/GitHub_Trending/coo/cookbook pip install -U google-genai pyaudiomacOS 用户另需执行brew install portaudio。然后设置密钥并启动示例export GEMINI_API_KEY你的密钥 python quickstarts/Get_started_LiveAPI_NativeAudio.py示例脚本里有几组关键参数值得留意上行采样率 16000Hz、下行 24000Hz、每块 1024 帧单声道 16 位 PCM。配置里把response_modalities设为[AUDIO]并开启proactive_audio模型就会主动开口说话CONFIG { response_modalities: [AUDIO], proactivity: {proactive_audio: True} }启动后戴上耳机直接开口聊就行。它是怎么做到不用等你说完才回话的白话讲原理它像一部电话不是传信传统聊天机器人像写信写一封、寄一封、等几天回信。Live API 更像打电话——线路一直通着双方随时可以插话。示例脚本用 4 个后台任务并行工作像一座城堡的四座塔楼听音塔持续捕获麦克风音频上塔把音频帧发出去收塔下载模型的回音播塔通过扬声器播放中间用两个队列衔接数据。当你插话时模型发出turn_complete回合结束信号程序随即清空播放队列你听到的声音立刻停住不会自说自话。四座塔各司其职队列衔接音频流——Live API 实时音频管道就像一个分工明确的城堡看懂了机制自然要问它实际能干什么实战场景3 个方向可以直接上手️ 日常语音助手解决打字累、来回等的问题。在 Get_started_LiveAPI.py 里把文本输入换成麦克风音频你就得到一个能理解多轮上下文的语音助手。 物联网语音控制想把语音控制搬到硬件上参考 examples/iot/esp32/voice_led_controller/ESP32 用麦克风采集声音发给 Gemini API再根据响应点亮 LED 灯环从软件原型走到实体装置。按图接好麦克风、ESP32 与 LED 灯环实时语音指令就能直接驱动硬件实时翻译与多模态扩展解决语言隔阂和只靠音频不够的问题。quickstarts/websockets/ 目录里有音频流实时翻译Live Translation的示例以及 Live API 调用工具的示例可以把音频和视频、文本输入叠在同一通电话里。机制清楚了真上手时最容易栽进几个坑提前看一眼。避坑指南4 个最容易卡住的问题坑AI 不停打断自己。系统默认扬声器和麦克风通常没有回声消除麦克风会拾取到 AI 自己的声音。正确做法始终戴耳机调试。坑音频发出去发杂、节奏不对。上下行采样率不同上行 16000Hz、下行 24000Hz别混用块大小保持 1024 帧。坑启动报asyncio.TaskGroup不存在。说明你的 Python 低于 3.11正确做法是补装pip install taskgroup。坑AI 说话风格不对味。用system_instruction指定语气和结尾追问习惯别指望模型默认表现。坑绕过去了就差最后一步。收尾Gemini Live API的价值在于把发一封回一封压缩成双向实时音频流语音应用从能对话变成像打电话。今天就去 quickstarts/ 目录跑一遍Get_started_LiveAPI_NativeAudio.py戴上耳机你会在示例加载完之前就先听到它开口。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考