skyzh

tiny-llm

大语言模型

这是一个面向系统工程师的 LLM 推理教学项目,用 Python 从零搭建一个 tiny vLLM 并跑通 Qwen,帮你看懂推理系统的内部机制。最典型的用法是跟着代码实现调度、KV cache 与算子,在 Apple Silicon 上亲手跑起完整推理流程。

查看 GitHub 原始描述(英文)

learn LLM inference system on Apple Silicon for systems engineers: build a tiny vLLM + Qwen

#course#large-language-model#llm#python#qwen#serving#vllm

按钮会在新标签页打开,本站不代理、不镜像仓库内容。

affaan-m

ECC

ECC 是一个面向大语言模型编程 agent 的性能优化系统,为 Claude Code、Codex、Cursor 等工具提供 skills、记忆与安全能力。它最典型的用法是给现有 agent 加装可复用的 skills 和记忆层,让长任务中的 workflow 更稳定、更省 token。

27.7万4.1万JavaScript
大语言模型最近提交 2026-10-12
NousResearch

hermes-agent

hermes-agent 是一个 Python 编写的大语言模型 agent 框架,用来把 prompt、工具调用和 workflow 串起来,帮开发者快速搭出能自主完成任务的智能体。最典型的用法是接入自己的 LLM,让它调用本地 CLI 或外部 SDK 执行多步操作,省去手写调度逻辑。

25.3万5.5万Python
大语言模型最近提交 2026-10-12
firecrawl

firecrawl

Firecrawl 是一个把网页抓取与解析封装成 API 的开源工具,专为 LLM 应用提供干净数据。它可将任意站点抓成 Markdown 或结构化 JSON,省去自建爬虫和清洗流程。最典型的用法是给 AI agent 或 RAG 系统喂入实时网页内容。

19.1万1.0万TypeScript
大语言模型最近提交 2026-10-12
Significant-Gravitas

AutoGPT

AutoGPT 是一个 Python 开源平台,让每个人都能用上并基于大语言模型构建 AI 应用。它把任务拆解、工具调用和记忆串成可复用的 workflow,用来搭建能自主完成多步任务的 agent。典型用法是给它一个目标,让它自己规划步骤、调用工具并迭代执行,比如自动搜集资料并整理成报告。

18.8万4.6万Python
大语言模型最近提交 2026-10-12
ollama

ollama

Ollama 让你在本地一条命令跑起大语言模型,省去环境配置与依赖折腾。它用 Go 写成,提供 CLI 和 SDK,支持 Kimi、GLM、DeepSeek、Qwen、Gemma 等模型。最典型的用法是在自己机器上拉取模型,离线做 prompt 调试与本地推理。

18.3万1.8万Go
大语言模型最近提交 2026-10-11
f

prompts.chat

prompts.chat 是一个社区驱动的 prompt 分享与收藏平台,前身是 Awesome ChatGPT Prompts,帮你快速找到可用的 prompt。它免费开源,支持自托管,企业可在内网部署,让团队共享 prompt 而不泄露数据。

17.3万2.2万HTML
大语言模型最近提交 2026-10-11