LLMTuner

LLMTuner copied to clipboard

04/26/2024 09:39:08 - INFO - llmtuner.model.utils.checkpointing - Gradient checkpointing enabled. 04/26/2024 09:39:08 - INFO - llmtuner.model.utils.attention - Using torch SDPA for faster training and inference. 04/26/2024 09:39:08 - INFO -...

iwaitu

请问flash attention 2可以加速可节约多少内存呢

haizeiwanglf

能不能加个chatglm3的微调啊

2

请求加一个chatglm3的微调

jdysn

trainer.py中是否缺失导包import numpy as np

zeminroot

单机多卡训练qwe1b8的问题

1

单机多卡训练qwen1b8 qlora的时候报错如下，单卡训练实验正常

zeminroot

关于flashattention的问题

1

请教一下，您使用的flashattention是什么版本呢？使用的是什么显卡呢？目前由于显卡的问题需要尝试安装1.x版本的flashattention，安装后出现一些列错误。

zeminroot

whgithup

qlora单机多卡微调baichuan2-13b问题

19

您好，请问报这个错是什么原因 

zxm8601

开启task_finetune后问题

2

请问我用百川微调开启特定广告任务task_finetune后报错不在同一设备上是什么原因，用原数据不开task_finetune则可以，谢谢  

ZengLei-dev

全量微调 7B

2

您好，请问一下全量微调7B需要多少卡，8*V100 32G 够吗

CuteMing