国内使用huggingface下载大模型教程

国内使用Huggingface下载大模型的常见方法

方法一：使用镜像站或代理
Huggingface官方镜像站（如https://hf-mirror.com）可加速下载。通过wget或curl直接替换域名：

wgethttps://hf-mirror.com/username/model-name/resolve/main/pytorch_model.bin

或修改环境变量：

exportHF_ENDPOINT=https://hf-mirror.com

方法二：Huggingface CLI工具配置
安装huggingface-hub库后设置镜像：

pipinstallhuggingface-hub huggingface-cli download --resume-download --local-dir-use-symlinks False --cache-dir ./cache username/model-name

通过HF_ENDPOINT环境变量指定镜像源。

方法三：手动下载+离线加载
从镜像站手动下载所有文件（包括config.json、pytorch_model.bin等），存放至本地目录后通过代码加载：

fromtransformersimportAutoModel model=AutoModel.from_pretrained("./local-path")

方法四：使用学术机构代理
部分高校提供国际网络加速服务，可通过校内VPN或代理服务器直接访问Huggingface官方源。

注册账号

访问目标平台或服务的官方网站，找到注册入口。填写必要的个人信息，如用户名、邮箱、手机号等，并设置密码。完成邮箱或手机验证后，账号注册流程结束。

确保密码复杂度符合要求，通常需包含大小写字母、数字及特殊字符。部分平台可能要求实名认证，需上传身份证或其他有效证件。

生成Token

有些模型如Gemma 是门控模型（需要同意协议），需要先授权才能访问下载，但是国内的hf-mirror.com貌似不支持这类模型的下载，还是需要使用vpn才行

第 1 步：去 Hugging Face 网站同意模型协议

打开：https://huggingface.co/google/gemma-3n-E2B-it
点击：Access repository登录 → 同意协议 → 完成。

第 2 步：创建 Hugging Face 令牌（有只读权限就行）

打开：https://huggingface.co/settings/tokens
点：Create new token名字随便填 → 选择 read → 创建复制生成的一长串 token（类似 hf_xxxxxxxxxxxx）

第3步：先设置环境变量（关键）

运行这两行：

exportHF_ENDPOINT=https://hf-mirror.com

第4步：直接登录（不加任何 endpoint 参数！）

huggingface-cli login

然后：

1. 粘贴你的hf_开头的 token（read 权限）
2. 问你Add token as git credential? (Y/n)→ 输入n
3. 出现Login successful→ 成功！

完整流程（你复制运行就成功）

# 1. 切换国内镜像exportHF_ENDPOINT=https://hf-mirror.com# 2. 登录（直接登录，不加参数）huggingface-cli login# 3. 粘贴 token → 输入 n → 完成

初始化虚拟环境

conda create-ngemma_litepython=3.10-yconda activate gemma_lite

安装核心依赖

pipinstalltorch torchvision --index-url https://download.pytorch.org/whl/cu121 pipinstalltransformers accelerate peft bitsandbytes pipinstalldatasets evaluate pipinstallpillow opencv-python pipinstallopen_clip_torch# CLIPScore