FreeLLMAPI 自托管指南34 家免费 LLM 厂商聚合成一个接口每月约 74 亿免费 Token【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI 是一个自托管的免费 LLM API 路由器把 Google、Groq、Mistral 等 34 家厂商的免费额度收进同一个 OpenAI 兼容的/v1端点共约 635 个免费模型端点、每月约 74 亿 token 的免费容量。无论是跑原型还是给编程智能体接免费 token照这篇做十分钟内路由器就能跑起来你能拿到第一条真实回复。为什么要把 34 家的免费额度堆在一起先说场景你用 Claude Code 跑编程智能体一家厂商的免费额度两天就见底。再注册一家、再注册一家——各家限流规则不一样有的按 RPM有的按每天 tokenSDK 不一样429 报错的字段也不一样手动做故障转移等于每家都要写一套适配代码还得自己维护。FreeLLMAPI 的思路反过来把你手里所有厂商的密钥丢进一个本地路由器所有请求只打同一个 OpenAI 兼容端点。当下哪家最优由路由器挑429 或 5xx 出现时自动冷却该密钥、切到回退链上的下一家。还有一个容易忽略的收益是目录保鲜。免费层的格局每周都在变厂商上新模型、悄悄调额度。路由器会自动拉取签名的模型目录新模型和额度变更直接落到本地数据库不需要你手动更新。十分钟装好 FreeLLMAPI 免费 LLM 路由器最快路线是 Docker一行命令前提是装好 Dockercurl -fsSL https://freellmapi.co/install.sh | bash脚本会创建~/freellmapi数据目录、生成加密密钥、拉取镜像并启动容器整个过程是幂等的重跑只会把容器更新到最新版已保存的密钥和配置原样保留。完成后浏览器打开http://localhost:3001仪表盘就在眼前。想要更可控的方式可以git clone https://gitcode.com/GitHub_Trending/fr/freellmapi用openssl rand -hex 32生成ENCRYPTION_KEY写入.env再docker compose up -d完整步骤见安装文档。嫌命令行麻烦的话桌面版Windows / macOS 安装包更省事路由器和仪表盘都收在系统托盘里打开即自动登录不用配任何账号密码。打开仪表盘在Keys页依次做三件事添加你手里任意一家厂商的密钥——Google AI Studio、Groq、Mistral 都行任何 OpenAI 兼容端点也能作为自定义提供商挂进来Ollama、vLLM、LM Studio 跑的本地小模型由此进入同一个路由池拖动Fallback Chain回退链调整顺序排前面的优先使用复制页顶部的统一密钥freellmapi-…开头。此后所有应用只用这一把密钥厂商原始密钥对你的程序不可见安全层面可以放心厂商密钥写入本地 SQLite 之前已经过 AES-256-GCM 加密只在处理请求时在内存中短暂解密用完即弃。最后是最小调用。程序里已经在用 OpenAI SDK 的话改动只有一处——把base_url指向本地路由器from openai import OpenAI client OpenAI( base_urlhttp://localhost:3001/v1, api_keyfreellmapi-your-unified-key, ) resp client.chat.completions.create( modelauto, messages[{role: user, content: 用一句话总结罗马帝国衰落的原因。}], ) print(resp.choices[0].message.content)modelauto表示交给路由器挑选加后缀如auto:fast偏速度、auto:smart偏智能只对这次请求调整取向也可以写具体模型名。每个响应都带X-Routed-Via头例如X-Routed-Via: groq/某模型直接告诉你这次是谁应答的。流式、工具调用、Embedding、图像与语音生成、Anthropic Messages 接口的完整用法见API 参考Claude Code、Codex CLI、Aider、Cline 等智能体的现成接入方式见客户端接入文档。不想写代码也行Playground 页发一句话就能验证。FreeLLMAPI 路由器是怎么挑免费模型的它不是轮询负载均衡器而是持续从实时流量学习的上下文老虎机。请求进来后路由器按速度、能力、可靠性三个维度给候选模型打实时分只从密钥健康且未触限的模型里选得分最高的应答。某次调用遇到 429限流或 5xx 时对应密钥进入冷却请求自动重试回退链上的下一家墙钟预算内最多尝试 20 次。同时它按(平台, 模型, 密钥)粒度持续记录 RPM/RPD/TPM/TPD 计数器让每家密钥都停在各自免费上限之内避免用着用着突然全被限流。所以 Models 页的列表顺序就是此刻真实的路由顺序某家排不上去通常是它的实时评分或密钥健康度不达标而不是配置错误。想深挖可以看路由核心源码和故障转移重试循环。运行之后免费 Token 池怎么管三个面板就够。Models页每个模型挂着实时可靠性、速度、智能三项评分页面顶部是整个模型池的月度 token 预算消耗进度。它回答我的免费容量还剩多少、谁在干活。Analytics页请求量、成功率、token 进出量、平均延迟、按提供商拆分时间窗支持 24 小时到 90 天。它回答这个池子靠不靠谱、哪家贡献最大。Playground页发一句话即可验证链路回复下方会标注实际应答的模型和耗时。排查问题时日志是入口Docker 部署看容器日志桌面版从托盘菜单的 Open Logs Folder 直达日志目录。装完 FreeLLMAPI 最容易卡在哪卡点原因与解法仪表盘提示要密码只有服务器版Docker / 源码首次启动才需要设置邮箱和密码桌面版内置隐藏本地账号打开即自动登录服务器版密码忘了登录页点 Forgot password?重置码直接打印在服务器日志里docker compose logs -f freellmapi可查15 分钟内有效局域网别的设备打不开默认端口只绑定127.0.0.1仅本机可达用HOST_BIND0.0.0.0重新docker compose up -d暴露到局域网且只在可信网络里这么做——服务是单用户的唯一防护就是那把统一密钥宿主机能连厂商容器里却连不上容器里的127.0.0.1指向容器自己而不是你的机器如果你靠宿主机上的代理客户端访问上游把代理地址改成指向host.docker.internal某家厂商一直没被用到通常是它的实时评分或密钥健康度不达标而不是配置错误查 Keys 页的密钥状态点或重新排一下回退链FreeLLMAPI 能做什么不能做什么免费层堆叠有真实取舍池子里没有对前沿模型的持续访问保证、延迟浮动、也没有 SLA而且头部模型的每日配额通常在一天快结束时耗尽端点整体智能度会在傍晚后下滑UTC 午夜重置。需要可靠性就用有合同的付费提供方。另有几个值得留意的用法请求虚拟模型fusion可以把提示词并行分发给多个风格各异的免费模型、再由裁判模型合成一份最终答案也可以按请求用auto:配置档名切换不同的回退链。最后提醒FreeLLMAPI 的定位是个人实验与学习各厂商账号的服务条款约束仍然算在你头上拿它打磨真实产品没问题上线前请换成付费 API。【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/11/2 1:45:50 · 阅读 1.2k FreeLLMAPI 自托管指南：34 家免费 LLM 厂商聚合成一个接口，每月约 74 亿免费 Token
FreeLLMAPI 自托管指南34 家免费 LLM 厂商聚合成一个接口每月约 74 亿免费 Token【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI 是一个自托管的免费 LLM API 路由器把 Google、Groq、Mistral 等 34 家厂商的免费额度收进同一个 OpenAI 兼容的/v1端点共约 635 个免费模型端点、每月约 74 亿 token 的免费容量。无论是跑原型还是给编程智能体接免费 token照这篇做十分钟内路由器就能跑起来你能拿到第一条真实回复。为什么要把 34 家的免费额度堆在一起先说场景你用 Claude Code 跑编程智能体一家厂商的免费额度两天就见底。再注册一家、再注册一家——各家限流规则不一样有的按 RPM有的按每天 tokenSDK 不一样429 报错的字段也不一样手动做故障转移等于每家都要写一套适配代码还得自己维护。FreeLLMAPI 的思路反过来把你手里所有厂商的密钥丢进一个本地路由器所有请求只打同一个 OpenAI 兼容端点。当下哪家最优由路由器挑429 或 5xx 出现时自动冷却该密钥、切到回退链上的下一家。还有一个容易忽略的收益是目录保鲜。免费层的格局每周都在变厂商上新模型、悄悄调额度。路由器会自动拉取签名的模型目录新模型和额度变更直接落到本地数据库不需要你手动更新。十分钟装好 FreeLLMAPI 免费 LLM 路由器最快路线是 Docker一行命令前提是装好 Dockercurl -fsSL https://freellmapi.co/install.sh | bash脚本会创建~/freellmapi数据目录、生成加密密钥、拉取镜像并启动容器整个过程是幂等的重跑只会把容器更新到最新版已保存的密钥和配置原样保留。完成后浏览器打开http://localhost:3001仪表盘就在眼前。想要更可控的方式可以git clone https://gitcode.com/GitHub_Trending/fr/freellmapi用openssl rand -hex 32生成ENCRYPTION_KEY写入.env再docker compose up -d完整步骤见安装文档。嫌命令行麻烦的话桌面版Windows / macOS 安装包更省事路由器和仪表盘都收在系统托盘里打开即自动登录不用配任何账号密码。打开仪表盘在Keys页依次做三件事添加你手里任意一家厂商的密钥——Google AI Studio、Groq、Mistral 都行任何 OpenAI 兼容端点也能作为自定义提供商挂进来Ollama、vLLM、LM Studio 跑的本地小模型由此进入同一个路由池拖动Fallback Chain回退链调整顺序排前面的优先使用复制页顶部的统一密钥freellmapi-…开头。此后所有应用只用这一把密钥厂商原始密钥对你的程序不可见安全层面可以放心厂商密钥写入本地 SQLite 之前已经过 AES-256-GCM 加密只在处理请求时在内存中短暂解密用完即弃。最后是最小调用。程序里已经在用 OpenAI SDK 的话改动只有一处——把base_url指向本地路由器from openai import OpenAI client OpenAI( base_urlhttp://localhost:3001/v1, api_keyfreellmapi-your-unified-key, ) resp client.chat.completions.create( modelauto, messages[{role: user, content: 用一句话总结罗马帝国衰落的原因。}], ) print(resp.choices[0].message.content)modelauto表示交给路由器挑选加后缀如auto:fast偏速度、auto:smart偏智能只对这次请求调整取向也可以写具体模型名。每个响应都带X-Routed-Via头例如X-Routed-Via: groq/某模型直接告诉你这次是谁应答的。流式、工具调用、Embedding、图像与语音生成、Anthropic Messages 接口的完整用法见API 参考Claude Code、Codex CLI、Aider、Cline 等智能体的现成接入方式见客户端接入文档。不想写代码也行Playground 页发一句话就能验证。FreeLLMAPI 路由器是怎么挑免费模型的它不是轮询负载均衡器而是持续从实时流量学习的上下文老虎机。请求进来后路由器按速度、能力、可靠性三个维度给候选模型打实时分只从密钥健康且未触限的模型里选得分最高的应答。某次调用遇到 429限流或 5xx 时对应密钥进入冷却请求自动重试回退链上的下一家墙钟预算内最多尝试 20 次。同时它按(平台, 模型, 密钥)粒度持续记录 RPM/RPD/TPM/TPD 计数器让每家密钥都停在各自免费上限之内避免用着用着突然全被限流。所以 Models 页的列表顺序就是此刻真实的路由顺序某家排不上去通常是它的实时评分或密钥健康度不达标而不是配置错误。想深挖可以看路由核心源码和故障转移重试循环。运行之后免费 Token 池怎么管三个面板就够。Models页每个模型挂着实时可靠性、速度、智能三项评分页面顶部是整个模型池的月度 token 预算消耗进度。它回答我的免费容量还剩多少、谁在干活。Analytics页请求量、成功率、token 进出量、平均延迟、按提供商拆分时间窗支持 24 小时到 90 天。它回答这个池子靠不靠谱、哪家贡献最大。Playground页发一句话即可验证链路回复下方会标注实际应答的模型和耗时。排查问题时日志是入口Docker 部署看容器日志桌面版从托盘菜单的 Open Logs Folder 直达日志目录。装完 FreeLLMAPI 最容易卡在哪卡点原因与解法仪表盘提示要密码只有服务器版Docker / 源码首次启动才需要设置邮箱和密码桌面版内置隐藏本地账号打开即自动登录服务器版密码忘了登录页点 Forgot password?重置码直接打印在服务器日志里docker compose logs -f freellmapi可查15 分钟内有效局域网别的设备打不开默认端口只绑定127.0.0.1仅本机可达用HOST_BIND0.0.0.0重新docker compose up -d暴露到局域网且只在可信网络里这么做——服务是单用户的唯一防护就是那把统一密钥宿主机能连厂商容器里却连不上容器里的127.0.0.1指向容器自己而不是你的机器如果你靠宿主机上的代理客户端访问上游把代理地址改成指向host.docker.internal某家厂商一直没被用到通常是它的实时评分或密钥健康度不达标而不是配置错误查 Keys 页的密钥状态点或重新排一下回退链FreeLLMAPI 能做什么不能做什么免费层堆叠有真实取舍池子里没有对前沿模型的持续访问保证、延迟浮动、也没有 SLA而且头部模型的每日配额通常在一天快结束时耗尽端点整体智能度会在傍晚后下滑UTC 午夜重置。需要可靠性就用有合同的付费提供方。另有几个值得留意的用法请求虚拟模型fusion可以把提示词并行分发给多个风格各异的免费模型、再由裁判模型合成一份最终答案也可以按请求用auto:配置档名切换不同的回退链。最后提醒FreeLLMAPI 的定位是个人实验与学习各厂商账号的服务条款约束仍然算在你头上拿它打磨真实产品没问题上线前请换成付费 API。【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考