karlshoo comments

Results 3 comments of


                                            karlshoo

LlamaTokenizer相关问题

> 想问下你们的transformers是啥？可以导入LlamaTokenizer的话。4.30.2版本导入的是transformers.models.llama.LlamaTokenizerFast，并没有LlamaTokenizer @suolyer @xiaojidaner 我是升级到4.28+的transformers 然后把 from transformers.models.llama import LlamaForCausalLM, LlamaTokenizer, LlamaConfig 改成 from transformers import LlamaForCausalLM, LlamaTokenizer, LlamaConfig 但我现在报ModuleNotFoundError: No module named 'flash_attn_cuda' 不知道是啥问题 @Windy-Ground

使用脚本convert_llama13b_to_fs.sh转换模型时报错

同一个问题，请问楼主解决了吗 @coolboyqu

单机8卡全参数微调ziya-13b，报Current loss scale already at minimum，但百川13b就没问题

您需要开bf16，与预训练的精度对齐 ---- 回复的原邮件 ---- 发件人 ***@***.***> 抄送至 ***@***.***> 主题 Re: [yangjianxin1/Firefly] 单机8卡全参数微调ziya-13b，报Current loss scale already at minimum，但百川13b就没问题 (Issue #68) 我现在训练Baichuan2-13B-Chat也遇到了这个错误，请问您解决了么 —Reply to this email directly, view it on GitHub, or...