请教HF上下载模型的时候,xetHub如何加速?
- 内容介绍
- 文章标签
- 相关推荐
在学校的实验室想要下载HF上,别人为微调过的LLM,虽然配置了 hf-mirror,但是我发现使用hf命令行工具下载的时候,xethub的还是得走代理才下载的动。
如果不配置代理,则基本无法下载。请问有什么比较好的方式可以在国内下载加速呢?
网友解答:--【壹】--:
HF-Mirror 主页面推荐的hfd工具
--【贰】--:
我一般把这些都设置上
export HF_TOKEN=hf_**** # 改成自己的huggingface token
export HF_ENDPOINT=https://hf-mirror.com
export HF_HUB_ENABLE_HF_TRANSFER=1
export HF_HUB_DOWNLOAD_RETRIES=100
export HF_HUB_DOWNLOAD_TIMEOUT=120
export HF_XET_HIGH_PERFORMANCE=1
然后再huggingface-cli login一下好像下载会稳定一点
在学校的实验室想要下载HF上,别人为微调过的LLM,虽然配置了 hf-mirror,但是我发现使用hf命令行工具下载的时候,xethub的还是得走代理才下载的动。
如果不配置代理,则基本无法下载。请问有什么比较好的方式可以在国内下载加速呢?
网友解答:--【壹】--:
HF-Mirror 主页面推荐的hfd工具
--【贰】--:
我一般把这些都设置上
export HF_TOKEN=hf_**** # 改成自己的huggingface token
export HF_ENDPOINT=https://hf-mirror.com
export HF_HUB_ENABLE_HF_TRANSFER=1
export HF_HUB_DOWNLOAD_RETRIES=100
export HF_HUB_DOWNLOAD_TIMEOUT=120
export HF_XET_HIGH_PERFORMANCE=1
然后再huggingface-cli login一下好像下载会稳定一点

