BerriAI

litellm

LLM 编排

LiteLLM 是一个 AI Gateway,用统一接口调用 100 多个 LLM API,兼容 OpenAI 格式,省去为每家厂商重写 SDK 的麻烦。它适合在多个模型间做路由与负载均衡,并统一追踪成本、日志和 guardrails。

查看 GitHub 原始描述(英文)

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

#ai-gateway#anthropic#azure-openai#bedrock#gateway#langchain#litellm#llm#llm-gateway#llmops#mcp-gateway#openai#openai-proxy#rust#rust-ai#vertex-ai

按钮会在新标签页打开,本站不代理、不镜像仓库内容。

本站解读

共 1 篇
microsoft

markitdown

MarkItDown 是一个 Python 工具,把各类文件与 Office 文档转成 Markdown,方便喂给 LLM 使用。典型场景是搭建 RAG 或文档问答时,先用它把 PDF、Word、Excel 等原始资料统一转成 Markdown,再交给后续的 workflow 处理。

19.0万1.4万Python
LLM 编排最近提交 2026-10-04
headroomlabs-ai

headroom

Headroom 是一个 LLM 编排工具,在内容送进模型前压缩 tool 输出、日志、文件和 RAG chunk,减少 token 消耗。它提供 library、proxy 和 MCP server 三种接入方式,适合 coding agent 或 JSON 密集的 workflow 场景。

7.5万5,823Python
LLM 编排最近提交 2026-10-11
chatchat-space

Langchain-Chatchat

Langchain-Chatchat 是一个基于 Langchain 构建的本地知识库问答应用,支持 ChatGLM、Qwen、Llama 等模型,解决私有文档接入 LLM 的问题。典型场景是把内部资料建成知识库,通过 RAG 检索后由模型作答,全程可本地部署。

3.9万6,256Python
LLM 编排最近提交 2025-11-10
langfuse

langfuse

Langfuse 是一个开源 LLM 工程平台,用于追踪、评估和调试 AI 应用,帮开发者看清 agent 与 prompt 的真实表现。典型场景是上线前跑评测,定位回答变差的原因并持续改进。

3.6万3,969TypeScript
LLM 编排最近提交 2026-10-11
langchain-ai

deepagents

deepagents 是 LangChain 推出的 agent harness,为 LLM 应用提供开箱即用的编排能力,省去从零搭建 agent 循环的麻烦。它内置任务规划、文件操作与子 agent 等模块,适合用 Python 构建能自主完成多步骤复杂任务的 workflow。

3.0万4,224Python
LLM 编排最近提交 2026-10-12
NousResearch

hermes-agent

hermes-agent 是一个 Python 编写的大语言模型 agent 框架,用来把 prompt、工具调用和 workflow 串起来,帮开发者快速搭出能自主完成任务的智能体。最典型的用法是接入自己的 LLM,让它调用本地 CLI 或外部 SDK 执行多步操作,省去手写调度逻辑。

25.3万5.5万Python
大语言模型最近提交 2026-10-12