xieziyi881

You need to change your function, the function I used in the .py script is **LlamaTokenizer.from_pretrained()** and you just need to change it to **AutoTokenizer.from_pretrained()**.

> 这看起来像是网络问题，首先保证服务器可以链接hunggingface。此外你可以下载校准数据集并在本地加载进行处理。 这是我的处理函数 ，请你参考 > > ``` > # 加载本地数据集 test 为 validation 数据 214670条 > data=load_from_disk(data_path) > return [text for text in data["text"] if text.strip() != '' and len(text.split('...

> > > 这看起来像是网络问题，首先保证服务器可以链接hunggingface。此外你可以下载校准数据集并在本地加载进行处理。 这是我的处理函数 ，请你参考 > > > ``` > > > # 加载本地数据集 test 为 validation 数据 214670条 > > > data=load_from_disk(data_path) > > > return [text for...

> > > > > 这看起来像是网络问题，首先保证服务器可以链接hunggingface。此外你可以下载校准数据集并在本地加载进行处理。 这是我的处理函数 ，请你参考 > > > > > ``` > > > > > # 加载本地数据集 test 为 validation 数据 214670条 > > > >...

直接解压就行 ---Original--- From: ***@***.***> Date: Wed, Jun 26, 2024 10:14 AM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [casper-hansen/AutoAWQ] ConnectionError: Couldn't reach'mit-han-lab/pile-val-backup' on the Hub (ConnectTimeout) (Issue #506) 这看起来像是网络问题，首先保证服务器可以链接hunggingface。此外你可以下载校准数据集并在本地加载进行处理。 这是我的处理函数 ，请你参考...

加我的Q吧2496032705 ---Original--- From: ***@***.***> Date: Wed, Jun 26, 2024 13:11 PM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [casper-hansen/AutoAWQ] ConnectionError: Couldn't reach'mit-han-lab/pile-val-backup' on the Hub (ConnectTimeout) (Issue #506) #读取 解压后的jsonl文件 data=load_dataset("json",data_files='/workspace/data/val.jsonl')...