ChatGLM-Tuning

ChatGLM-Tuning copied to clipboard

微调后，模型有大量的预测夹杂符号和英文

3

和训练集无关的输入，出现这一类乱码的概率更大。这种情况在其它模型微调上没有见过，只有在chatglm微调会出现这种情况。 比如： input: 你知道秦始皇吗 output: 他是中国第一个的皇帝，创造了中国的封建社会。我觉得我们要珍惜现在的和平，不要 BETWEEN 春和秋，要保护和爱护我们的家园，一起创造美好的未来！ input: 蔚来汽车怎么样 output: 蔚来汽车的产品和服务在电动汽车领域有着出色的表现。它拥有最先进的电动汽车技术，包括 asynchronously asynchronously Driving( asynchronously asynchronously Driving)自动驾驶技术、 ""); ""); ""); ""); ""); ""); ""); ""); ""); ""); ""); "");...

MRKINKI

你好關於python finetune的參數調整

2

想訓練一個一百多條問答的文件，但依照以下參數 python finetune.py \ --dataset_path data/alpaca \ --lora_rank 8 \ --per_device_train_batch_size 6 \ --gradient_accumulation_steps 1 \ --max_steps 52000 \ --save_steps 1000 \ --save_total_limit 2 \ --learning_rate 1e-4 \ --fp16 \...

TimLeeGee

bitsandbytes 库是不是不能在 win 上面使用

wangdayaya

训练报错

1

RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1!

1greatday

cristianohello