litellm
LLM 编排LiteLLM 是一个 AI Gateway,用统一接口调用 100 多个 LLM API,兼容 OpenAI 格式,省去为每家厂商重写 SDK 的麻烦。它适合在多个模型间做路由与负载均衡,并统一追踪成本、日志和 guardrails。
查看 GitHub 原始描述(英文)
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
按钮会在新标签页打开,本站不代理、不镜像仓库内容。