魔搭官方模型微调与部署框架，覆盖训练、量化到推理全流程
Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300+ MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM5.3, Gemma4, Llava, Phi4, ...) (AAAI 2025).
按钮会在新标签页打开，本站不代理、不镜像仓库内容。
PEFT 是 Hugging Face 推出的参数高效微调库，让开发者无需更新模型全部权重即可完成微调，大幅降低显存与存储开销。它把 LoRA 等主流方法封装成统一接口，几行代码就能接入 transformers 的 workflow。
easy-dataset 是一个用于制作 LLM 微调、RAG 与评测数据集的工具，帮开发者省去手写数据集的繁琐流程。典型场景是：把已有文档导入后，用 prompt 驱动模型批量生成问答对，再导出成训练格式。
Axolotl 是一个开源的大模型微调工具，用 YAML 配置统一管理训练流程，免去手写训练脚本的麻烦。它支持 LoRA、QLoRA 等常见微调方式，并可在多卡环境运行。典型场景是开发者拿一份现成配置文件，改改数据集路径和模型名，就能在本地或云端跑起微调任务。
OpenLLM 让你把 DeepSeek、Llama 等开源大模型部署成兼容 OpenAI 的 API endpoint，省去自己搭推理服务的麻烦。它由 BentoML 团队维护，用 Python 写就，最典型的用法是在云端跑起模型后，直接用现成的 OpenAI SDK 调用，无需改动业务代码。
Ludwig 是一个低代码框架，用声明式配置就能构建自定义 LLM、神经网络等 AI 模型，省去大量手写训练代码。最典型的用法是微调：在配置里指定 backbone、prompt 和数据集，再用 CLI 或 Python SDK 启动训练即可。
Oumi 是一个 Python 开源工具库，用来简化开源大模型与多模态模型的微调、评估和部署流程，支持 SFT 与 RL 训练。最典型的用法是拿 Qwen、Gemma 这类模型，用自有数据跑一遍微调，再直接部署上线。
