CodeGeeX2 icon indicating copy to clipboard operation
CodeGeeX2 copied to clipboard
verified publisher icon THUDM

非量化版本的codegeex2-6B，16GB显存下最大推理的max_new_tokens约为多少？微调后经常推着推着就OOM了

Open CatYing opened this issue 1 year ago • 1 comments

as topic temperature=0.2, max_new_tokens=4097

CatYing avatar Mar 19 '24 10:03 CatYing

求问 怎么微调的，是用的chatglmv2的代码进行微调的吗？

PineREN avatar Mar 29 '24 08:03 PineREN