tiny-llm
大语言模型这是一个面向系统工程师的 LLM 推理教学项目,用 Python 从零搭建一个 tiny vLLM 并跑通 Qwen,帮你看懂推理系统的内部机制。最典型的用法是跟着代码实现调度、KV cache 与算子,在 Apple Silicon 上亲手跑起完整推理流程。
查看 GitHub 原始描述(英文)
learn LLM inference system on Apple Silicon for systems engineers: build a tiny vLLM + Qwen
按钮会在新标签页打开,本站不代理、不镜像仓库内容。