申请加入Huggingface的镜像同步

[bolongliu]

请求原因
由于服务器网络无法连接https://huggingface.co,而huggingface上面的文件非常大,动辄几个G,甚至10几个G,给科研造成了巨大的时间浪费,故请求加入工大镜像,实现高速模型下载和数据集下载。

源地址
https://huggingface.co/models
https://huggingface.co/datasets

目标链接
http://mirrors.hit.edu.cn/huggingface/models
http://mirrors.hit.edu.cn/huggingface/datasets

[shuguang99]

赞同！！！！

[bolongliu]

现在国内有镜像了，具体可以访问https://hf-mirror.com/

使用非常简单，速度一般是带宽速度。一般至少10M/s

1. 下载hfd
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.com

3.1 下载模型
./hfd.sh gpt2 --tool aria2c -x 4

3.2 下载数据集
./hfd.sh wikitext --dataset --tool aria2c -x 4