接多家模型、控成本
Model Gateway
多家 API key→统一接口 + 用量账
0
家能做这件事
厂商官方文档写明支持
1
处权重可自部署
自己的 GPU 上跑，不受平台限制
0
个能跑起来的 workflow
其中官方 0 个
谁能做
还没有模型有明确的官方依据
自己部署权重公开的，拿去自己 GPU 上跑
LiteLLM（一个接口调 100+ 模型）BerriAI/litellm：Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging（★56,102） · GitHub · BerriAI/litellm
已知限制
· 统一接口会抹掉各家的特性 —— 缓存、推理档这些参数常常传不过去· LiteLLM 的 `enterprise/` 目录另有许可，不在开源部分典型用例
多模型比价 · 灰度切换 · 成本核算