Llama-Chinese icon indicating copy to clipboard operation
Llama-Chinese copied to clipboard

Published 20 hours ago • verified publisher icon LlamaFamily

13b 词表扩了多少，支持多大上下文长度

Open zhemingyang opened this issue 1 year ago • 3 comments

zhemingyang avatar Aug 03 '23 14:08 zhemingyang

正在训练的拓展到65000 ，在不调整rope scale 的情况下，是4096 。调整rope scale目前测试18k 效果也还不错

ZHangZHengEric avatar Aug 23 '23 07:08 ZHangZHengEric

正在训练的拓展到65000 ，在不调整rope scale 的情况下，是4096 。调整rope scale目前测试18k 效果也还不错

扩充的中文词表是怎么来的可以公开吗

Daya-Jin avatar Nov 15 '23 09:11 Daya-Jin

正在训练的拓展到65000 ，在不调整rope scale 的情况下，是4096 。调整rope scale目前测试18k 效果也还不错

你只需要调整rope scale吗，在微调过程中需要调整SFTTrainer中的max_seq_length值吗，另外，您的GPU配置情况方便说明一下嘛

yjmm10 avatar Feb 26 '24 06:02 yjmm10