CLUEDatasetSearch
文本分类这是一个中文 NLP 数据集检索工具,帮开发者快速定位文本分类等任务可用的语料,省去逐个仓库翻找的麻烦。最典型的用法是:按任务或关键词搜索,直接拿到数据集名称与下载入口,也能顺带查到常用英文数据集。
查看 GitHub 原始描述(英文)
搜索所有中文NLP数据集,附常用英文NLP数据集
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
这是一个中文 NLP 数据集检索工具,帮开发者快速定位文本分类等任务可用的语料,省去逐个仓库翻找的麻烦。最典型的用法是:按任务或关键词搜索,直接拿到数据集名称与下载入口,也能顺带查到常用英文数据集。
搜索所有中文NLP数据集,附常用英文NLP数据集
按钮会在新标签页打开,本站不代理、不镜像仓库内容。
这是一个大规模中文 NLP 语料集合,为文本分类等任务提供开箱即用的训练数据,省去开发者自行爬取和清洗的麻烦。最典型的用法是直接下载其中对应领域的语料,接入自己的分类模型或 fine-tune 流程做实验。
这是一个用深度学习做文本分类的 Python 项目,汇集了多种常见模型,帮开发者省去从零搭建和对比模型的工作。最典型的用法是拿它当 baseline,在自己的数据集上跑一遍,快速判断哪类模型更适合当前任务。
这是一个用 TensorFlow 实现的中文文本分类项目,基于 CNN 与 RNN 模型,帮开发者快速搭建从分词到训练、预测的完整流程。最典型的用法是拿它跑自己的中文语料,比如新闻标题或评论的情感分类,直接复用现成的模型代码和训练脚本。
simpletransformers 是一个基于 Transformers 的 Python 库,帮你省去手写训练循环和繁琐配置,用少量代码完成文本分类、NER、QA 等任务。最典型的用法是拿自己的标注数据微调 BERT 类模型做文本分类,几行代码即可跑通训练与预测。
Spark NLP 是一个构建在 Apache Spark 之上的自然语言处理库,用 Scala 编写,为大规模文本数据提供分词、词性标注、命名实体识别和文本分类等能力。它最典型的场景是在 Spark 集群上批量处理海量文本,把 NLP 流程接入已有的数据 pipeline,无需额外搭建独立服务。
Snips NLU 是一个 Python 库,用于从自然语言文本中提取结构化意图和槽位,帮开发者省去自建文本分类与实体抽取流程的麻烦。典型场景是搭建离线语音助手或对话机器人:定义好 intent 与训练语料,用 CLI 或 SDK 训练模型,即可在本地解析用户指令,无需依赖云端服务。