chenglu66

[Question] 当继续预训练是，loss一直是2.2几的状态，请问作者预训练阶段也是如此吗？

2

### Required prerequisites - [X] I have read the documentation . - [X] I have searched the [Issue Tracker](https://github.com/baichuan-inc/baichuan-7B/issues) and [Discussions](https://github.com/baichuan-inc/baichuan-7B/discussions) that this hasn't already been reported. (+1 or comment...

论文复现相关

3

非常棒得一份工作，我们尝试在中文领域模型上复现这个操作，但实际使用中，参照论文参数，发现使用8*80G A100的卡，继续训练，模型训练上下文只能达到32K，看论文中可以达到80K，能否分享下这里面的技巧