vllm-project

vllm

Transformer 架构

vLLM 是一个面向 LLM 的高吞吐、显存高效的推理与服务引擎，用 Python 编写，基于 Transformer 架构，采用 Apache-2.0 许可。它最典型的用法是部署在线推理服务，通过 PagedAttention 管理 KV cache，在同样显存下支撑更高的并发请求。

查看 GitHub 原始描述（英文）

A high-throughput and memory-efficient inference and serving engine for LLMs

#amd#blackwell#cuda#deepseek#deepseek-v3#gpt#gpt-oss#inference#kimi#llama#llm#llm-serving#model-serving#moe#openai#pytorch#qwen#qwen3#tpu#transformer

按钮会在新标签页打开，本站不代理、不镜像仓库内容。

本站解读

共 1 篇

拆解 vLLM 的推理引擎架构：PagedAttention 如何管理 KV cache，分页机制如何减少显存碎片，以及它作为 OpenAI 兼容服务端的部署方式与同类框架的定位差

whisper.cpp 把 OpenAI 的 Whisper 语音识别模型移植成纯 C/C++ 实现，无需 Python 依赖即可在本地离线跑推理。它适合在 CLI 或桌面应用里做实时语音转文字，比如把麦克风输入或音频文件直接转成文本，也方便集成进已有 C++ 工程。

SGLang 是一个面向大语言模型与多模态模型的高性能 serving 框架，用来解决推理部署中吞吐低、延迟高的问题。它最典型的场景是配合结构化输出，让模型按指定格式稳定生成结果，常用于搭建 API 服务与 agent workflow。

这是一个自动去除语言模型审查限制的 Python 工具，基于 Transformer 架构实现，无需人工干预即可完成处理。它适合在本地对开源模型做合规性研究时使用，通过 CLI 或 SDK 快速跑完整个流程。

fish-speech 是一个基于 Transformer 的开源 TTS 项目，目标是把语音合成做到业界领先水平。开发者可以用它把文本转成自然语音，适合为有声内容、视频配音或 AI 助手批量生成旁白。

MMDetection 是 OpenMMLab 开源的检测工具箱与 benchmark，基于 PyTorch，提供目标检测、实例分割等任务的统一实现，覆盖 Transformer 等主流架构。开发者可用它复现论文模型，或借助配置化 workflow 快速搭建训练与推理流程。

faster-whisper 是 Whisper 语音识别模型的高效推理实现，基于 CTranslate2 重写，在保持识别精度的同时显著降低显存占用并提升速度。它提供 Python 接口，适合在本地或服务器上批量转写音频文件。