Linly

Linly copied to clipboard

使用llma.cpp对int4模型进行推理时，加载模型需要错误了。有大佬遇到过这个问题吗？ 

goforfar

pretrain.py failed when deal with vocabulary special tokens

2

The finetune script ``` use `python3 preprocess.py xxx` to encode dataset token id use `deepspeed pretrain.py xxx` to finetune ``` the `preprocess` add `CLS_TOKEN` in the left `document` and `SEG_TOKEN`...

better629

chatllama_zh_13b.bin如何转成chatllama-ggml-q4_0.bin格式？谢谢

1

doctor1984

DSXiangLi

能不能提供一份量化模型int4的方法或者脚本？

5

doctor1984

生成结果与readme中不符（试过快十次）

4

我生成的结果：  readme中的结果：分词结果分别为：无线电，法国，别研究。 有些答非所问，不知道是什么原因

pan-2001

腾讯格式的权重转换成HF格式的转换脚本在哪里？

12

riverzhou

33b模型权重少了五份

1

33b模型权重少了五份 https://huggingface.co/P01son/LLaMA-zh-33b-hf/tree/main pytorch_model-00001-of-00007.bin pytorch_model-00007-of-00007.bin 只有这两个

genggui001

指令微调readme的数据下载repo里没有数据，后期会上传吗？

2

指令微调readme中提供了一个数据下载的超链接：https://huggingface.co/datasets/P01son/instructions 但对应repo内还没数据，请问后期会上传数据吗？大概什么时间？

bitMyron

TencentPretrain pretrain.py of llama-7b model, Exception: : Current loss scale already at minimum

2

when I run pretrain.py of llama-7b model, it has exception below （not user zero3）: ExceptionException: : Current loss scale already at minimum - cannot decrease scale anymore. Exiting run.Current loss...

liukaiyueyuo