Llama-Chinese

Llama-Chinese copied to clipboard

api调用后，不输出预期的结果

1

 

ghkl98

中文乱码

1

我使用Xinference部署，并接入到dify中，但是有个问题是对话时中文会乱码？请问我应该怎么解决这个问题呢？我用llama-webui来跑这个模型可以正常对话不乱码，我想应该是哪里参数配置有问题？希望得到您的帮助

xiaolibuzai-ovo

如何设置系统提词？

1

想用Atom模型做一个RAG，问一下这样设置prompt格式对吗,谢谢！ `System: Answer the query using the context provided. Be succinct.\n Human: query: What is the default batch size for map_batches? context: batch_size.Note The default batch size depends on your...

tigermask1978

如何拿到微调后的embedding向量呢

1

wanghao19970205

pretrain的数据为啥用的是sft的数据。

1

这两个的数据格式是一样的吗

Liufeiran123

git clone Llama2-Chinese-13b时报错

1

git lfs pull LFS文件时，下载到最后的时候，报错 cannot write data to tempfile "/root/autodl-tmp/Llama2-Chinese-13b-Chat/.git/lfs/incomplete/86ed45c10462bbe2c3dd7894bc1bc54bd3cbb54c920c6ef1dffeaa74f06db2f9363480212": LFS: read tcp 172.17.0.7:49728->172.20.0.113:12798: i/o timeout error: failed to fetch some objects from 'https://huggingface.co/FlagAlpha/Llama2-Chinese-13b-Chat.git/info/lfs' 但是git Llama2-Chinese-6b时都没事，只有13b不可以，试了好几个服务器都不行，但在huggingface部署其他模型都没问题

494599131

微调的输出目录，所输出微调记录内容有问题。

1

无论我用什么 数据集 或者 7B 还是 13B，输出目录中产生的 finetune.sh 永远不变（如下所示），都是 7B 和 Demo 的数据。 按我的理解输出目录中的 finetune.sh 应该是记录着我们微调所使用的 sh 命令。所以这里是否有一些潜在错误？甚至可能导致训练错误？

312shan

使用vllm优化llama

1

我想基于vllm针对llama做一些特定优化，大佬们可以给些方向吗

Lvjinhong

family上面的13b-Chat 和我本地部署的差距太大了，什么原因呢？

4

是需要调整Chat_Gradio里面的模型参数吗？

coddderX

使用lora脚本微调后保存的模型文件如何再次对他进行微调

2

我在使用llama2中文社区的lora脚本对我的codellama-7b-hf微调后，无法再对微调脚本指定目录的保存文件进行微调，是否是因为需要将lora微调后的参数覆盖到原文件？ 还是有其他的办法可以使用不同的数据集持续更新我保存微调后参数的目录  这是我微调后保存参数的目录

A1pacin0