osker

可以使用cpu来运行这个13b模型吗？

> > 量化8bit 加载模型，是这样配置吗 ` model = LlamaForCausalLM.from_pretrained( ziya_model_path, > > 直接加 load_in_8bit=True 会报错需要使用。需要这样 `python nf4_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4") model = LlamaForCausalLM.from_pretrained( ziya_model_path, quantization_config=nf4_config, device_map='auto' ) > > ` 请问，这个是加到那个配置文件中的呢？