OpenLLM
模型微调OpenLLM 让你把 DeepSeek、Llama 等开源大模型部署成兼容 OpenAI 的 API endpoint,省去自己搭推理服务的麻烦。它由 BentoML 团队维护,用 Python 写就,最典型的用法是在云端跑起模型后,直接用现成的 OpenAI SDK 调用,无需改动业务代码。
查看 GitHub 原始描述(英文)
Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.
按钮会在新标签页打开,本站不代理、不镜像仓库内容。