CodeGeeX2
CodeGeeX2 copied to clipboard
非量化版本的codegeex2-6B,16GB显存下最大推理的max_new_tokens约为多少?微调后经常推着推着就OOM了
as topic temperature=0.2, max_new_tokens=4097
求问 怎么微调的,是用的chatglmv2的代码进行微调的吗?