llm-app

ComposioHQ

composio

Composio 是一个 TypeScript 编写的 LLMOps 工具包，帮开发者解决 AI agent 调用外部工具的难题，内置大量 toolkit、tool search 与认证管理。典型场景是让 agent 通过统一接口连接 GitHub、Slack 等服务，把用户意图直接变成实际操作。

mlflow

mlflow

MLflow 是开源 AI 工程平台，用来管理 agents、LLM 和机器学习模型的生命周期，帮团队调试、评估、监控并优化生产级 AI 应用，同时控制成本、管理模型与数据访问。典型场景是把 prompt 和模型版本纳入统一的 experiment tracking，让迭代可复现、可对比。

promptfoo

promptfoo

promptfoo 是一个用 TypeScript 编写的开源工具，用来测试 prompt、agent 和 RAG 的效果，并支持对 AI 应用做红队与漏洞扫描。它用声明式配置定义测试用例，可在命令行和 CI/CD 中运行，适合在切换模型或修改 prompt 后做回归对比。

liguodongiot

llm-action

llm-action 是一份面向开发者的中文大模型工程化实战资料，用 HTML 整理，聚焦 LLMOps 落地。它把大模型技术原理与实战经验结合，适合想跑通训练、推理到部署完整 workflow 的工程师参考。

comet-ml

opik

Opik 是一个开源的 LLMOps 平台，用于调试、评估和监控 LLM 应用、RAG 系统与 agentic workflow。它提供完整的 tracing、自动化评估和生产级 dashboard，最典型的用法是在开发阶段追踪每次 LLM 调用的输入输出，快速定位 prompt 或检索环节的问题。

dipakkr

awesome-ai-engineering

这是一个面向 AI 工程实践的精选资源合集，整理了 LLM、RAG、AI Agents、MCP、微调与评估等方向的学习路线、工具和项目，帮开发者少走弯路。最典型的用法是照着其中的 roadmap 规划学习路径，或按主题快速找到可上手的开源项目与 SDK。