专业团队承接各类定制化软件系统

  • 源码跳动,年轻无畏,代码筑梦!
  • 专注定制化软件,领航海外 APP 开发,精雕出海网站,巧制小程序,匠心打造定制化系统。
  • 以创新为翼,用专业护航。
  • 突破国界限制,为全球客户定制专属数字世界,开启无限可能的科技新篇!
微信二维码

👆合作咨询和老板谈👆

国内 huggingface 镜像——帮助 AI 开发者快速稳定的下载模型数据集

553次阅读
没有评论

共计 1497 个字符,预计需要花费 4 分钟才能阅读完成。

网站域名 hf-mirror.com,用于镜像 huggingface.co 域名。该镜像作为一个公益项目,致力于帮助国内AI开发者快速、稳定的下载模型、数据集。

方法一:huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hubCopy

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.comCopy

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"Copy

建议将上面这一行写入 ~/.bashrc
3.1 下载模型

huggingface-cli download --resume-download gpt2 --local-dir gpt2Copy

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitextCopy

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接,这样下载路径下所见即所得,详细解释请见上面提到的教程。

方法二:使用 hfd

hfd 是 huggingface 专用下载工具,基于成熟工具 git+aria2,可以做到稳定下载不断线。

1. 下载hfd

wget https://hf-mirror.com/hfd/hfd.shchmod a+x hfd.shCopy

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.comCopy

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"Copy

3.1 下载模型

./hfd.sh gpt2 --tool aria2c -x 4Copy

3.2 下载数据集

./hfd.sh wikitext --dataset --tool aria2c -x 4Copy

方法三:使用环境变量(非侵入式)

非侵入式,能解决大部分情况。huggingface 工具链会获取HF_ENDPOINT环境变量来确定下载文件所用的网址,所以可以使用通过设置变量来解决。

HF_ENDPOINT=https://hf-mirror.com python your_script.pyCopy

不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了。

常见问题

Q: 有些项目需要登录,如何下载?

A:部分 Gated Repo 需登录申请许可。为保障账号安全,本站不支持登录,需先前往 Hugging Face 官网登录、申请许可,在官网这里获取 Access Token 后回镜像站用命令行下载。
部分工具下载 Gated Repo 的方法:huggingface-cli: 添加--token参数

huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hfCopy

hfd: 添加--hf_username--hf_token参数

hfd meta-llama/Llama-2-7b --hf_username YOUR_HF_USERNAME --hf_token hf_***Copy

其余如from_pretrainedwgetcurl如何设置认证 token,详见上面第一段提到的教程。

正文完
加入轩源的网络日志微信群参与讨论
post-qrcode
 0
轩源
版权声明:本站原创文章,由 轩源 于2024-09-03发表,共计1497字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
支持作者

☝️用微信请我喝杯咖啡☕️

😛如果文章对您有用,请支持作者😛

支持作者

☝️用支付宝请我喝杯奶茶🧋

专业团队承接各类定制化软件系统

  • 源码跳动,年轻无畏,代码筑梦!
  • 专注定制化软件,领航海外 APP 开发,精雕出海网站,巧制小程序,匠心打造定制化系统。
  • 以创新为翼,用专业护航。
  • 突破国界限制,为全球客户定制专属数字世界,开启无限可能的科技新篇!
微信二维码

👆合作咨询和老板谈👆

评论(没有评论)