logan

would you please help me to use this package?

centos7

envs/aquila/lib/python3.9/site-packages/flagai/model/tools/lora/prepare_lora.py", line 37, in lora_transfer if torch.__version__ >= "2" and sys.platform != "win32": NameError: name 'sys' is not defined

aquila/lib/python3.9/site-packages/flagai/model/aquila_model.py", line 159, in forward h = self.tok_embeddings(input_ids)

> 首先 可以实时import bmtrain as bmt看看本地bmtrain有没有正确安装 NameError: name 'sys' is not defined 已解决 bmt 已经解决 sys 是代码bug，我本地已经解决 最后一幅图运行的时候模型compile出错辛苦看下。

单机3卡，这样是否正常呢。到这里就会遇到上面tok_embedding的错误

host file

下载最新的模型参数又遇到这个错误了，能否给下你们最新模型的能fintune起来的环境详细信息， lib/python3.8/site-packages/bmtrain/parameter.py", line 79, in gather with torch.cuda.stream(config['load_stream']): CUDA_VISIBLE_DEVICES=4,5,6 TRANSFORMERS_CACHE=${cache_dir} HF_MODULES_CACHE=${cache_dir} python \ $SCRIPT_FILE \ --not_call_launch \ $OPTS

求个解决方案，想要微调起来太难了。

补充一个信息，lora微调才会这个错误，全参数fintinue会oom