mmdetection

vllm-project

vllm

vLLM 是一个面向 LLM 的高吞吐、显存高效的推理与服务引擎，用 Python 编写，基于 Transformer 架构，采用 Apache-2.0 许可。它最典型的用法是部署在线推理服务，通过 PagedAttention 管理 KV cache，在同样显存下支撑更高的并发请求。

ggml-org

whisper.cpp

whisper.cpp 把 OpenAI 的 Whisper 语音识别模型移植成纯 C/C++ 实现，无需 Python 依赖即可在本地离线跑推理。它适合在 CLI 或桌面应用里做实时语音转文字，比如把麦克风输入或音频文件直接转成文本，也方便集成进已有 C++ 工程。

sgl-project

sglang

SGLang 是一个面向大语言模型与多模态模型的高性能 serving 框架，用来解决推理部署中吞吐低、延迟高的问题。它最典型的场景是配合结构化输出，让模型按指定格式稳定生成结果，常用于搭建 API 服务与 agent workflow。

p-e-w

heretic

这是一个自动去除语言模型审查限制的 Python 工具，基于 Transformer 架构实现，无需人工干预即可完成处理。它适合在本地对开源模型做合规性研究时使用，通过 CLI 或 SDK 快速跑完整个流程。

fishaudio

fish-speech

fish-speech 是一个基于 Transformer 的开源 TTS 项目，目标是把语音合成做到业界领先水平。开发者可以用它把文本转成自然语音，适合为有声内容、视频配音或 AI 助手批量生成旁白。

SYSTRAN

faster-whisper

faster-whisper 是 Whisper 语音识别模型的高效推理实现，基于 CTranslate2 重写，在保持识别精度的同时显著降低显存占用并提升速度。它提供 Python 接口，适合在本地或服务器上批量转写音频文件。