LiteLLM

LiteLLM 是开源、可自托管的 AI 网关与 LLM 代理，通过一个兼容 OpenAI 格式的 API 统一接入 100 多个模型与 140 余家供应商，切换模型无需改动应用代码。它提供虚拟密钥与 SSO 登录，可按密钥、团队、组织和模型设置预算与速率限制，并支持用量与花费追踪、审计日志与内容护栏，便于成本分摊与访问控制。路由功能包括负载均衡、最低成本路由、自动路由、语义缓存与提示压缩；智能体与 MCP 服务器也可经同一网关访问，另有 Python SDK 与 Agent SDK。