LatentSync
扩散模型LatentSync 是字节跳动开源的唇形同步模型,用扩散模型解决视频口型与音频对不上的问题。它基于 Stable Diffusion 改造,开发者可用 Python 调用,为人物视频重新生成匹配语音的嘴型,适合配音、数字人等内容制作场景。
查看 GitHub 原始描述(英文)
Taming Stable Diffusion for Lip Sync!
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
LatentSync 是字节跳动开源的唇形同步模型,用扩散模型解决视频口型与音频对不上的问题。它基于 Stable Diffusion 改造,开发者可用 Python 调用,为人物视频重新生成匹配语音的嘴型,适合配音、数字人等内容制作场景。
Taming Stable Diffusion for Lip Sync!
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
Hunyuan3D-2 是腾讯混元开源的大规模扩散模型,用两阶段流程从图像或文本生成高分辨率 3D 资产,解决传统建模耗时、细节不足的问题。典型场景是开发者输入一张角色概念图,直接得到带贴图的 mesh,接入游戏或电商的 3D 内容 pipeline。
HunyuanVideo 是一个开源的大视频生成模型框架,用扩散模型把文本 prompt 变成连贯视频。它提供完整训练与推理流程,开发者可基于 Python 搭建自己的视频生成 workflow。
这是一个汇总扩散模型论文与资源的清单项目,帮开发者省去在大量文献里翻找的时间。它按主题整理 diffusion model 的相关工作,适合刚入门时快速摸清脉络,或做 survey 时集中查阅。
LTX-Video 是 Lightricks 开源的视频生成扩散模型官方仓库,用 Python 实现,解决从文本或图片生成连贯视频的问题。典型场景是开发者通过 CLI 或 Python SDK 调用预训练模型,把 prompt 直接转成短视频片段,用于内容创作与原型验证。
这是一套用 C++ 写的端侧 AI 推理 SDK,让开发者在本地设备上直接跑扩散模型,不必依赖云端接口。典型场景是把文生图能力集成进桌面或移动应用,用本地算力完成推理,兼顾响应速度与数据隐私。
VAR 是 NeurIPS 2024 最佳论文的官方实现,用自回归方式做图像生成,让 GPT 路线在视觉任务上跑通并超越扩散模型。它按由粗到细的尺度逐级预测图像,代码简洁易用,适合想上手视觉自回归生成的开发者作为起点。