Llama-Chinese

Llama-Chinese copied to clipboard

https://pan.baidu.com/s/1gBZ7wEn3gC8VRok0Onh9BQ?pwd=8frq 

yinggoga

还是别用百度网盘了吧，非会员下载太慢。

1

还是别用百度网盘了吧，非会员下载太慢。转到迅雷或者夸克

taozhiyuai

有 vllm chat-template 吗

1

有 vllm chat-template 吗

linzm1007

开源模型，做了屏蔽词管理么？

3

如题，譬如微调训练时，输入内容含有 自杀、跳楼等敏感词汇，模型是否做了这些敏感词汇的工程管理。

RyanOvO

pretrain.sh 中预训练样例数据未提供

2

liuyongjie985

SFT数据格式问题

1

感觉markdown给的数据格式有问题； 数据集只有一列"task"是把整个输入全部计算了loss，但SFT的正确做法应该要mask掉human的部分不参与损失计算。 如果是SFT格式的，数据集应该提供"input"和"target"两列；代码没有问题，但是这部分的markdown文档有问题

lovelyturtle

这个需要什么配置合适？用一张A100 显卡跑的7B模型，80G显存用了10G，回答case中的怎么去北京 要60秒才返回结果

2

RT

MetaRunning

微调过程中学习率的问题

1

请问微调时候，学习率逐渐增大是什么原因

wangdan7477

训练损失从1.4下降到了0.5，训练5个epoch了，从开始到现在验证集ACCURACY一直是64%

1

使用lora训练llama-2-7b-chat，数据是博主data目录下的数据，代码并无改动，启动的脚本用的是finetune_lora.sh，deepspeed启动命令如下： deepspeed --include localhost:0 finetune_clm_lora.py \ --model_name_or_path /home/zengshaokun/models/llama/llama-2-7b-chat \ --train_files ../../data/train_sft.csv \ --validation_files ../../data/dev_sft.csv \ ../../data/dev_sft_sharegpt.csv \ --per_device_train_batch_size 4 \ --per_device_eval_batch_size 4 \ --do_train \ --do_eval \ --use_fast_tokenizer false \...

kunzeng-ch

RuntimeError: FlashAttention only supports Ampere GPUs or newer.

1

kaggle上运行lora微调的代码出现这样的报错：Traceback (most recent call last): File "/kaggle/working/llamatest/train/sft/finetune_clm_lora.py", line 692, in main() File "/kaggle/working/llamatest/train/sft/finetune_clm_lora.py", line 653, in main train_result = trainer.train(resume_from_checkpoint=checkpoint) File "/opt/conda/lib/python3.10/site-packages/transformers/trainer.py", line 1624, in train return inner_training_loop( File "/opt/conda/lib/python3.10/site-packages/transformers/trainer.py",...

540627735