CrystalChen
Results
3
comments of
CrystalChen
Where to modify code?
> 我想我找到了修复它的方法，尽管我不知道原因。 > > 在训练之前，我们确实使用了该模型进行提示 > > ``` > FastLanguageModel.for_inference(model) > inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda") > outputs = model.generate( > input_ids=inputs.input_ids, > attention_mask=inputs.attention_mask, > max_new_tokens=1200, > use_cache=True, > )...