gateway

简介

Gateway 是 Portkey-AI 推出的开源大模型 API 聚合网关。它通过一套统一的、兼容 OpenAI 格式的接口，让开发者用同一套代码即可访问 200+ 款大语言模型（OpenAI、Anthropic、Gemini、Mistral、本地 Ollama 等），并自动处理多模态请求。

核心能力

• 统一 API：OpenAI 兼容协议，切换模型只需改一个参数，无需改业务代码。
• 自动重试与容错：请求失败自动重试、跨供应商故障转移（fallback），提升线上稳定性。
• 负载均衡：支持在多个 key / 多个供应商之间做轮询、加权或基于成本的路由。
• 多模态：文本、图像、音频等多模态输入统一转发。
• 可观测性：内置请求日志、token 用量统计与延迟监控（可配合 Portkey 控制台）。

适用场景

• 想快速接入多家大模型又不愿维护多套 SDK 的团队。
• 生产环境需要高可用：用 fallback + 重试防止单一供应商抖动导致服务中断。
• 成本与性能敏感：用负载均衡把流量分散到便宜/快的不同模型上。

上手与二开建议

以 Docker 一行命令即可启动本地网关，之后把应用里的 base_url 指向网关地址即可。配置通过 YAML 或环境变量完成，支持自定义路由策略。源码结构清晰，路由与适配器分离，二次开发新供应商适配器成本较低。生产部署建议配合缓存、限流与密钥托管一起使用。