带你快速入门HuggingFace！

1 Hugging Face是什么？

如果你正在学习机器学习、大模型相关的内容，那么Hugging Face是你一定不要错过的社区。其实Hugging Face和Github挺相似的，相当于是机器学习界的github。

Hugging Face一开始只是一家纽约的聊天机器人服务商，本来是打算启动做聊天机器人的，在github上开源了Transformer库，结果有心栽花花不成，无心栽柳柳成荫，聊天机器人没做出个眉目，倒是transformer库在社区里迅速火爆起来。

下面我们来了解一下Hugging Face主要提供的服务。

2 预训练模型

Hugging Face提供了大量的预训练模型，帮助到哪怕是小白也可以快速上手大佬们训练出来的模型。

一开始主要涉及到的领域主要是NLP领域相关的任务，比如文本分类、情感分析、对话问答以及命名实体识别等等。

目前平台已经进一步壮大，只要你能想得到的厉害的模型，在上面基本上都可以找到。

Hugging Face大量的预训练模型使得业界的研究者们不用再去重复造轮子，可以更加关注自己的问题，模型的开源反过来进一步推动了平台的发展。

在Hugging Face上，Transformer库是其中最核心的项目，Transformer库提供了十分简洁的API接口，使得模型加载、使用和训练变得非常简单。

2.1 Transformer的安装

它的安装非常简单，我们在自己的虚拟环境中直接安装即可：

pip install transformers

2.2 使用Transformer库

假设我们的任务比较简单，一般可以直接调用API就可以完成。 比如实现一个翻译任务：

from transformers import pipeline en_fr_translator = pipeline("translation_en_to_fr") print(en_fr_translator("How old are you?"))

将以上代码执行，将会得到翻译：

[{'translation_text': ' quel âge êtes-vous?'}]

或者实现文本分类任务：

from transformers import pipeline classifier = pipeline("sentiment-analysis") result = classifier("I love using HuggingFace transformers!") print(result)

最终我们会得到结果：

[{'label': 'POSITIVE', 'score': 0.9998}]

表明这是一句积极的话。

或者实现文本生成的任务：

from transformers import pipeline generator = pipeline("text-generation", model="gpt2") result = generator("Once upon a time,") print(result[0]['generated_text'])

看的出来，其实还是有些在自说自话。

除了Transformer之外，我们也可以使用其他的模型，比如BERT：

from transformers import pipeline unmasker = pipeline('fill-mask', model='bert-base-chinese') unmasker("中国的首都是[MASK].")

运行结果：

因此说白了Hugging Face其实就是将一堆牛叉的模型库封装好，然后给你提供一份特定的使用说明书，你直接去用就行了，比如gpt、kimi、Qwen这些大模型我们没有必要去写代码，也没有必要去重新训练(也不是你我能训练得了的)，直接按照说明书直接用就ok。

详细使用方法：

https://huggingface.co/docs/transformers/v4.21.0/en/main_classes/pipelines

我们通过实际的界面来看：

比如在以上Hugging face的界面给出了一堆大模型，就拿deepseek-ai/DeepSeek-OCR-2来说吧，我们点击去看：

好家伙，27W下载。

下面给出了环境配置和具体使用代码：

以上代码是使用了DeepSeek-OCR-2模型进行OCR（光学字符识别）任务，并将结果转换为markdown格式。

因此想体验哪个大模型，代码都不用你写了，别人都给你写好了。

3 数据集

Hugging Face提供了大量的数据集，包括音视频、计算机视觉、自然语言处理领域的任务。

首先需要安装好Datasets库，也是一行命令搞定：

pip install datasets

我们来看看数据集的界面：

总共81万个数据集。

3.1 数据集概览

一般在下载数据集之前，我们需要检查一下数据集信息，比如Rotten Tomatoes 电影评论数据集：

from datasets import load_dataset_builder ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes") ds_builder.info.description ds_builder.info.features

最终得到数据集的关键信息：

Rotten Tomatoes movie review dataset for binary sentiment classification...

• 任务：二元情感分类（positive/negative）

• 规模：10,662条评论（5,331条正面 + 5,331条负面）

• 来源：Rotten Tomatoes 电影评论

• 用途：常用于情感分析基准测试

3.2 数据集加载

此时我们对数据集满意的话，就可以使用load_dataset()加载它。

from datasets import load_dataset dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

3.3 数据集划分

使用函数 get_dataset_split_names() 可以列出数据集的分划名称。

from datasets import get_dataset_split_names get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")

最终结果为['train', 'validation', 'test']

我们也可以只操作Train:

from datasets import load_dataset dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

得到结果：

Dataset({ features: ['text', 'label'], num_rows: 8530 })

返回所有：

from datasets import load_dataset dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes")

得到结果：

DatasetDict({ train: Dataset({ features: ['text', 'label'], num_rows: 8530 }) validation: Dataset({ features: ['text', 'label'], num_rows: 1066 }) test: Dataset({ features: ['text', 'label'], num_rows: 1066 }) })

详细使用方法参考中文网站：

https://hugging-face.cn/docs/datasets/index

除此之外，Hugging Face还提供了Doc界面，包括一些参考文档，以及社区文章，类似于大家发发朋友圈：

一篇文章可能没有办法详细的说明Hugging Face的使用说明，但是作为快速入门，使用Model设Datasets已经够了，剩下的大家可以多多探索哦，用的越多越熟悉。

Hugging Face作为目前机器学习领域最大的开源平台，大家没事多逛逛，还是很有好处的。

欢迎大家关注我的gzh：阿龙AI日记