lanny2018

GPU使用了half浮点数，两块2080TI 11G可以流畅运行，两块10G的显卡也能运行起来，两块8G的不够。但是对电脑内存好像在载入瞬间要达到40多G（7G*4+7G*2），如果显存大内存小的可以去除half模式

这个你要缩进一下，github的Issue不适合粘贴代码，你缩进一下就不会出错了。

跑不起来，肯定！除非它后期出个int8或int4的版本。但你可以用cpu跑，简单测一下还是可以的（肯定要大内存才行，7G*4更多点） 模型载入代码修改一下： model = AutoModelForCausalLM.from_pretrained("baichuan-inc/baichuan-7B", trust_remote_code=True) 这行不使用：inputs = inputs.to('cuda:0')

全部估计很难，但希望开放部分的数据集，至于1.2T Token确实也没必要，这么多不是一般人能玩的。希望能开放个10%，做为后期二次训练的时候，有时候自己的二次训练数据内容很少，两者混合起来训练就不容易过拟合了。