CTranslate2
机器翻译CTranslate2 是一个面向 Transformer 模型的高性能推理引擎,用 C++ 实现,专为机器翻译等任务加速推理。它支持多种模型格式与量化,提供 Python 和 C++ 接口。典型场景是把训练好的翻译模型转成它的格式,在 CPU 或 GPU 上低延迟地跑批量翻译,比原生框架更省资源。
查看 GitHub 原始描述(英文)
Fast inference engine for Transformer models
按钮会在新标签页打开,本站不代理、不镜像仓库内容。