SGLang 是一个面向大语言模型与多模态模型的高性能 serving 框架，用来解决推理部署中吞吐低、延迟高的问题。它最典型的场景是配合结构化输出，让模型按指定格式稳定生成结果，常用于搭建 API 服务与 agent workflow。
SGLang is a high-performance serving framework for large language models and multimodal models.
按钮会在新标签页打开，本站不代理、不镜像仓库内容。
vLLM 是一个面向 LLM 的高吞吐、显存高效的推理与服务引擎，用 Python 编写，基于 Transformer 架构，采用 Apache-2.0 许可。它最典型的用法是部署在线推理服务，通过 PagedAttention 管理 KV cache，在同样显存下支撑更高的并发请求。
whisper.cpp 把 OpenAI 的 Whisper 语音识别模型移植成纯 C/C++ 实现，无需 Python 依赖即可在本地离线跑推理。它适合在 CLI 或桌面应用里做实时语音转文字，比如把麦克风输入或音频文件直接转成文本，也方便集成进已有 C++ 工程。
这是一个自动去除语言模型审查限制的 Python 工具，基于 Transformer 架构实现，无需人工干预即可完成处理。它适合在本地对开源模型做合规性研究时使用，通过 CLI 或 SDK 快速跑完整个流程。
fish-speech 是一个基于 Transformer 的开源 TTS 项目，目标是把语音合成做到业界领先水平。开发者可以用它把文本转成自然语音，适合为有声内容、视频配音或 AI 助手批量生成旁白。
MMDetection 是 OpenMMLab 开源的检测工具箱与 benchmark，基于 PyTorch，提供目标检测、实例分割等任务的统一实现，覆盖 Transformer 等主流架构。开发者可用它复现论文模型，或借助配置化 workflow 快速搭建训练与推理流程。
faster-whisper 是 Whisper 语音识别模型的高效推理实现，基于 CTranslate2 重写，在保持识别精度的同时显著降低显存占用并提升速度。它提供 Python 接口，适合在本地或服务器上批量转写音频文件。
