BELLE

BELLE copied to clipboard

OutOfMemoryError: CUDA out of memory when saving weight

2

`1812 │ │ if hasattr(destination, "_metadata"): │ │ 1813 │ │ │ destination._metadata[prefix[:-1]] = local_metadata │ │ 1814 │ │ │ │ ❱ 1815 │ │ self._save_to_state_dict(destination, prefix, keep_vars) │...

Hsuxu

在定义Hessian矩阵的时候，矩阵的大小为什么是，为什么不与rows相关呢 self.H = torch.zeros((self.columns, self.columns), device=self.dev)

lonleyodd

我看到，train.py 里面用的是 Trainner 而不是 Seq2SeqTrainer，这样导致了无法直接在 train.py 中对测试集进行 多卡并行的 推理。 给出的 inference.py 是单卡 batch size 为1 的推理代码。 如果希望可以支持 多卡 且 batch size 大于 1 的快速推理，请问有什么解决方案吗？

lemuria-wchen

Nagin-Kim

13B用lora模型训练数据，90G的显存还报超出了显存

1

使用torchrun --nproc_per_node 1 train.py 单块GPU，可以下载预训练模型，但跑一会就出错了   使用torchrun --nproc_per_node 8 train.py 多块GPU，下载预训练模型的时候cuda就超显存了，我的是90G左右的显存，这都不够训练的吗？

lixiaoxiaobin

全量训练的时候修改什么参数，能降低显存的使用

4

4块A100，160G的显存，训练数据都是报显存不足，我怎么调整一下参数呢，或者修改哪里能让数据训练起来 # #FT torchrun --nproc_per_node 4 /home/jovyan/vol-1/BELLE/train/src/train.py \ --model_name_or_path ${model_name_or_path} \ --llama \ --deepspeed configs/deepspeed_config_stage3.json \ --train_file ${train_file} \ --validation_file ${validation_file} \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --gradient_accumulation_steps 1...

lixiaoxiaobin

为什么感觉13B大模型，在AutoTokenizer比LlamaTokenizer的性能好很多，但是速度慢很多

1

如题，为什么感觉13B大模型，在AutoTokenizer比LlamaTokenizer的性能好很多，但是速度慢很多；这是配置的不对，还是什么原因？

cxfzzj

基于BLOOM的指令微调效果和基于LLAMA-EXT扩展词表和二次预训练的指令微调效果，哪个好一些？

1

请教有没有人做过比较和评测？ 谢谢。

mikeda100

greatewei

colab中运行报错 ``` Collecting git+https://github.com/huggingface/transformers (from -r requirements.txt (line 4)) Cloning https://github.com/huggingface/transformers to /tmp/pip-req-build-4plx17ow Running command git clone --filter=blob:none --quiet https://github.com/huggingface/transformers /tmp/pip-req-build-4plx17ow Resolved https://github.com/huggingface/transformers to commit 7631db0fdcfbd95b1f21d8034a0b8df73b9380ff Installing build dependencies ......

LoganLan0