composio

pathwaycom

llm-app

这是一个开箱即用的云端模板库，用于快速搭建 RAG、AI pipeline 和企业搜索，解决实时数据接入与同步的问题。它提供 Docker 友好的运行方式，最典型的场景是让索引始终与 Sharepoint、Google Drive、S3、Kafka 等数据源保持同步。

mlflow

mlflow

MLflow 是开源 AI 工程平台，用来管理 agents、LLM 和机器学习模型的生命周期，帮团队调试、评估、监控并优化生产级 AI 应用，同时控制成本、管理模型与数据访问。典型场景是把 prompt 和模型版本纳入统一的 experiment tracking，让迭代可复现、可对比。

promptfoo

promptfoo

promptfoo 是一个用 TypeScript 编写的开源工具，用来测试 prompt、agent 和 RAG 的效果，并支持对 AI 应用做红队与漏洞扫描。它用声明式配置定义测试用例，可在命令行和 CI/CD 中运行，适合在切换模型或修改 prompt 后做回归对比。

liguodongiot

llm-action

llm-action 是一份面向开发者的中文大模型工程化实战资料，用 HTML 整理，聚焦 LLMOps 落地。它把大模型技术原理与实战经验结合，适合想跑通训练、推理到部署完整 workflow 的工程师参考。

comet-ml

opik

Opik 是一个开源的 LLMOps 平台，用于调试、评估和监控 LLM 应用、RAG 系统与 agentic workflow。它提供完整的 tracing、自动化评估和生产级 dashboard，最典型的用法是在开发阶段追踪每次 LLM 调用的输入输出，快速定位 prompt 或检索环节的问题。

dipakkr

awesome-ai-engineering

这是一个面向 AI 工程实践的精选资源合集，整理了 LLM、RAG、AI Agents、MCP、微调与评估等方向的学习路线、工具和项目，帮开发者少走弯路。最典型的用法是照着其中的 roadmap 规划学习路径，或按主题快速找到可上手的开源项目与 SDK。