LLaVA 是一个开源的多模态大模型，通过视觉指令微调让语言模型具备看图对话的能力。它把图像编码器与 Vicuna 等 LLM 对接，并用 GPT-4 生成的图文数据训练，使模型能理解图片内容并按指令作答。典型场景是上传一张照片后直接用自然语言提问，比如询问画面细节或让模型描述图表。
[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) built towards GPT-4V level capabilities and beyond.
按钮会在新标签页打开，本站不代理、不镜像仓库内容。
ColossalAI 是一套 Python 深度学习框架，让大模型的训练与推理更省钱、更快、更易上手。它把分布式训练中繁琐的并行策略封装起来，开发者不必手写复杂的通信逻辑。典型场景是微调或预训练百亿级基础模型，用少量代码即可把任务扩展到多卡多机集群。
unilm 是微软开源的大规模自监督预训练基础模型库，用 Python 实现，覆盖任务、语言与模态，为 NLP 和多模态任务提供统一的预训练模型与 workflow。典型场景是开发者基于它微调或迁移模型，快速搭建文本理解等下游应用。
Janus 是统一多模态理解与生成的模型系列，解决单一模型难以同时处理看图问答与文生图的问题。最典型场景是让同一个模型既能理解图像内容，又能按 prompt 生成图片，开发者可通过 Python 直接调用。
YuE 是开源的音乐生成基础模型，用 symbolic planning 把创作意图转成可编辑的音乐结构，解决 AI 作曲难以精细控制的问题。典型场景是零样本翻唱：给定一段人声，直接生成配套伴奏，无需针对该曲目训练。
pyod 是一个 Python 异常检测库，面向表格、时间序列、图、文本、图像和音频数据，内置 60 多种 detector，并提供基于 benchmark 的 ADEngine 编排能力。典型场景是开发者用统一 API 在自有数据上快速搭建并对比异常检测 baseline。
TabPFN 是面向表格数据的基础模型，用 Python 编写，让开发者无需为每个数据集单独训练和调参，就能直接完成分类与回归预测。它把预训练好的模型当作通用预测器，在小型表格任务上尤其典型：拿到一份 CSV，几行代码即可得到结果。
