easy-dataset
模型微调easy-dataset 是一个用于制作 LLM 微调、RAG 与评测数据集的工具,帮开发者省去手写数据集的繁琐流程。典型场景是:把已有文档导入后,用 prompt 驱动模型批量生成问答对,再导出成训练格式。
查看 GitHub 原始描述(英文)
A powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
easy-dataset 是一个用于制作 LLM 微调、RAG 与评测数据集的工具,帮开发者省去手写数据集的繁琐流程。典型场景是:把已有文档导入后,用 prompt 驱动模型批量生成问答对,再导出成训练格式。
A powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
PEFT 是 Hugging Face 推出的参数高效微调库,让开发者无需更新模型全部权重即可完成微调,大幅降低显存与存储开销。它把 LoRA 等主流方法封装成统一接口,几行代码就能接入 transformers 的 workflow。
Axolotl 是一个开源的大模型微调工具,用 YAML 配置统一管理训练流程,免去手写训练脚本的麻烦。它支持 LoRA、QLoRA 等常见微调方式,并可在多卡环境运行。典型场景是开发者拿一份现成配置文件,改改数据集路径和模型名,就能在本地或云端跑起微调任务。
OpenLLM 让你把 DeepSeek、Llama 等开源大模型部署成兼容 OpenAI 的 API endpoint,省去自己搭推理服务的麻烦。它由 BentoML 团队维护,用 Python 写就,最典型的用法是在云端跑起模型后,直接用现成的 OpenAI SDK 调用,无需改动业务代码。
Ludwig 是一个低代码框架,用声明式配置就能构建自定义 LLM、神经网络等 AI 模型,省去大量手写训练代码。最典型的用法是微调:在配置里指定 backbone、prompt 和数据集,再用 CLI 或 Python SDK 启动训练即可。
Oumi 是一个 Python 开源工具库,用来简化开源大模型与多模态模型的微调、评估和部署流程,支持 SFT 与 RL 训练。最典型的用法是拿 Qwen、Gemma 这类模型,用自有数据跑一遍微调,再直接部署上线。
ECC 是一个面向大语言模型编程 agent 的性能优化系统,为 Claude Code、Codex、Cursor 等工具提供 skills、记忆与安全能力。它最典型的用法是给现有 agent 加装可复用的 skills 和记忆层,让长任务中的 workflow 更稳定、更省 token。