simon gao
simon gao
aliendao.cn里没这个模型,这个模型在e.aliendao.cn,需要登录付费下载,命令是python model_download.py --e --repo_id facebook/nllb-200-distilled-600M --token 您的token
是的,模型不太大的话,用免费的aliendao.cn,速度也还可以
谢谢指出!开始做这个工具时,hugging face还基本上是能访问的,只是经常断线,所以mirror默认是false,不传此参数是从hugging face下载模型,只是增加了重试策略。后来hugging face彻底断了,这个参数也就失去了意义,为了简化命令,将其默认值改为了true
在datasets中,不在models中。https://aliendao.cn/datasets/bigcode/starcoderdata
太大了,一个多T,直接从https://hf-mirror.com/datasets/cerebras/SlimPajama-627B下载吧
非常感谢,我按您的思路改了一下,做了一下判断。r.status_code应该是返回404,这时候total_length设成 0也不能正常下载,所以我直接给返False了
看一下r.status_code是多少?如果是200或206,r.headers.get('content-length')应该是有值的才对
./dataroot/models目录下