fastllm
fastllm copied to clipboard
为什么转化后的model is not callable?
ubuntu 上的4卡3090跑 vicuna13B的模型,模型转化后不能调用? “out = model( input_ids=torch.as_tensor( [[token] if not sent_interrupt else output_ids], device=device ), use_cache=True, past_key_values=past_key_values if not sent_interrupt else None, )” 在输入问题提交给模型后,这行代码报错:typeError: 'model' object is not callable