aligner

aligner copied to clipboard

训练对齐器，显存溢出

1

看了训练流程图，我理解这个对齐器是不是在全参微调，我跑百川7b的模型，4090 24G的显卡，跑不起来，显存满了，只能换更大的显存吗？多大的显存合适？ 

angelOnly

And the GPU I needed, at least can support train two 7B models ?

sev777

没看懂这个key

angelOnly

Warm-up训练

2

请问Warm-up训练也是使用SFT做的全参微调吗？如果是的话，使用的训练超参数是否也与后续训练一致呢？

lzl0124

as title shows，we want to test our method on your evaluation datasets and benchmarks，but there is no source in the github

adventurexw