LLM Gateway

LLM Gateway 是开源的大模型 API 网关，用一套兼容 OpenAI 的接口接入 40 多家供应商的 250 多个模型，改动 base URL 即可沿用现有 SDK。它提供自动故障转移与重试、缓存、实时成本与延迟分析、按模型和供应商拆分的用量与花费统计、错误率与缓存命中率监控，并可按 API 密钥或成员设置支出上限。企业版加入 SAML 2.0 单点登录、SCIM、角色权限、审计日志，以及能拦截提示注入、检测并脱敏邮箱、卡号与密钥的 Guardrails。用户可自带密钥免费调用，也可用 Docker 或 Kubernetes 自托管。配套产品还包括面向 AI 编程的 DevPass，以及多模型对话与图像视频生成的 Lounge。