LlamaTokenizer相关问题

[xiaojidaner]

您好，13B遇到的问题：ValueError: Tokenizer class LlamaTokenizer does not exist or is not currently imported.

[suolyer]

transformers的版本可能不对，升级到最新版试试看

[Windy-Ground]

想问下你们的transformers是啥？可以导入LlamaTokenizer的话。4.30.2版本导入的是transformers.models.llama.LlamaTokenizerFast，并没有LlamaTokenizer @suolyer @xiaojidaner

[karlshoo]

想问下你们的transformers是啥？可以导入LlamaTokenizer的话。4.30.2版本导入的是transformers.models.llama.LlamaTokenizerFast，并没有LlamaTokenizer @suolyer @xiaojidaner

我是升级到4.28+的transformers 然后把 from transformers.models.llama import LlamaForCausalLM, LlamaTokenizer, LlamaConfig 改成 from transformers import LlamaForCausalLM, LlamaTokenizer, LlamaConfig 但我现在报ModuleNotFoundError: No module named 'flash_attn_cuda' 不知道是啥问题 @Windy-Ground

[Desein-Yang]

想问下你们的transformers是啥？可以导入LlamaTokenizer的话。4.30.2版本导入的是transformers.models.llama.LlamaTokenizerFast，并没有LlamaTokenizer @suolyer @xiaojidaner

4.28 应该是可以的。

[Desein-Yang]

想问下你们的transformers是啥？可以导入LlamaTokenizer的话。4.30.2版本导入的是transformers.models.llama.LlamaTokenizerFast，并没有LlamaTokenizer @suolyer @xiaojidaner

我是升级到4.28+的transformers 然后把 from transformers.models.llama import LlamaForCausalLM, LlamaTokenizer, LlamaConfig 改成 from transformers import LlamaForCausalLM, LlamaTokenizer, LlamaConfig 但我现在报ModuleNotFoundError: No module named 'flash_attn_cuda' 不知道是啥问题 @Windy-Ground

flash attn cuda 是为了加速引入了 flash attention，不开flash attn 的话不是必须的，请参考 https://github.com/Dao-AILab/flash-attention