mlflow

pathwaycom

llm-app

这是一个开箱即用的云端模板库，用于快速搭建 RAG、AI pipeline 和企业搜索，解决实时数据接入与同步的问题。它提供 Docker 友好的运行方式，最典型的场景是让索引始终与 Sharepoint、Google Drive、S3、Kafka 等数据源保持同步。

ComposioHQ

composio

Composio 是一个 TypeScript 编写的 LLMOps 工具包，帮开发者解决 AI agent 调用外部工具的难题，内置大量 toolkit、tool search 与认证管理。典型场景是让 agent 通过统一接口连接 GitHub、Slack 等服务，把用户意图直接变成实际操作。

promptfoo

promptfoo

promptfoo 是一个用 TypeScript 编写的开源工具，用来测试 prompt、agent 和 RAG 的效果，并支持对 AI 应用做红队与漏洞扫描。它用声明式配置定义测试用例，可在命令行和 CI/CD 中运行，适合在切换模型或修改 prompt 后做回归对比。

liguodongiot

llm-action

llm-action 是一份面向开发者的中文大模型工程化实战资料，用 HTML 整理，聚焦 LLMOps 落地。它把大模型技术原理与实战经验结合，适合想跑通训练、推理到部署完整 workflow 的工程师参考。

comet-ml

opik

Opik 是一个开源的 LLMOps 平台，用于调试、评估和监控 LLM 应用、RAG 系统与 agentic workflow。它提供完整的 tracing、自动化评估和生产级 dashboard，最典型的用法是在开发阶段追踪每次 LLM 调用的输入输出，快速定位 prompt 或检索环节的问题。

dipakkr

awesome-ai-engineering

这是一个面向 AI 工程实践的精选资源合集，整理了 LLM、RAG、AI Agents、MCP、微调与评估等方向的学习路线、工具和项目，帮开发者少走弯路。最典型的用法是照着其中的 roadmap 规划学习路径，或按主题快速找到可上手的开源项目与 SDK。