promptflow
LLM 编排Prompt 流程编排与评测,可视化调试
查看 GitHub 原始描述(英文)
Build high-quality LLM apps - from prototyping, testing to production deployment and monitoring.
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
Prompt 流程编排与评测,可视化调试
Build high-quality LLM apps - from prototyping, testing to production deployment and monitoring.
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
MarkItDown 是一个 Python 工具,把各类文件与 Office 文档转成 Markdown,方便喂给 LLM 使用。典型场景是搭建 RAG 或文档问答时,先用它把 PDF、Word、Excel 等原始资料统一转成 Markdown,再交给后续的 workflow 处理。
Headroom 是一个 LLM 编排工具,在内容送进模型前压缩 tool 输出、日志、文件和 RAG chunk,减少 token 消耗。它提供 library、proxy 和 MCP server 三种接入方式,适合 coding agent 或 JSON 密集的 workflow 场景。
LiteLLM 是一个 AI Gateway,用统一接口调用 100 多个 LLM API,兼容 OpenAI 格式,省去为每家厂商重写 SDK 的麻烦。它适合在多个模型间做路由与负载均衡,并统一追踪成本、日志和 guardrails。
拖拽式 AI Agent 与工作流搭建平台
Langchain-Chatchat 是一个基于 Langchain 构建的本地知识库问答应用,支持 ChatGLM、Qwen、Llama 等模型,解决私有文档接入 LLM 的问题。典型场景是把内部资料建成知识库,通过 RAG 检索后由模型作答,全程可本地部署。
Langfuse 是一个开源 LLM 工程平台,用于追踪、评估和调试 AI 应用,帮开发者看清 agent 与 prompt 的真实表现。典型场景是上线前跑评测,定位回答变差的原因并持续改进。