airllm
生成式 AIAirLLM 让单张 4GB 显存的 GPU 也能跑 70B 大模型推理,靠分层加载权重绕开显存瓶颈,无需量化或蒸馏。想在本地消费级显卡上跑大模型、又不想折腾多卡或云端部署的开发者,可以直接用它加载 Hugging Face 上的模型做推理。
查看 GitHub 原始描述(英文)
AirLLM 70B inference with single 4GB GPU
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
AirLLM 让单张 4GB 显存的 GPU 也能跑 70B 大模型推理,靠分层加载权重绕开显存瓶颈,无需量化或蒸馏。想在本地消费级显卡上跑大模型、又不想折腾多卡或云端部署的开发者,可以直接用它加载 Hugging Face 上的模型做推理。
AirLLM 70B inference with single 4GB GPU
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
Langflow 是一个用 Python 构建 AI agent 与 workflow 的开源工具,通过可视化界面把 prompt、模型和工具串成可运行的流程。最典型的用法是在画布上拖拽节点搭好链路,再一键部署为 API 或导出 SDK 供应用调用。
一套可组合、无障碍的 React 组件集合,代码直接复制进项目,改起来完全归你所有。它不提供 npm 包,而是用 CLI 把组件源码写进你的仓库,适合想自己掌控组件库、按设计需求随意改造的团队。
这是一套面向初学者的生成式 AI 课程,用 21 节课帮你从零理解并动手搭建生成式 AI 应用。内容以 Jupyter Notebook 组织,覆盖 prompt 编写、模型调用到构建实际项目的完整路径,适合开发者按自己的节奏边学边练。
这是一份用 PyTorch 从零实现类 ChatGPT 大模型的 step by step 教程,帮你搞懂 LLM 内部到底怎么运转。它不讲调包,而是带你亲手写 attention、训练和生成流程,适合想真正吃透原理的开发者边看代码边动手。
这是一份面向开发者的 prompt engineering 开源指南,系统整理了提示词设计、上下文工程、RAG 与 AI Agent 的教程、论文和 notebook,帮助你把大模型真正用起来。最典型的用法是照着其中的技巧和示例,动手调优自己的 prompt 与 workflow。
这是一套面向初学者的 AI Agents 入门课程,用 18 节课讲清如何从零构建智能体。内容以 Jupyter Notebook 呈现,覆盖 prompt、工具调用与多智能体 workflow 等核心概念,适合开发者跟着动手实践。