Zitao

您好，请问训练好的模型能否用C\C++进行加载

1

如题所示，最终训练得到的模型能否用C++进行加载

您好,我在下载你们的代码和model以后,发现了代码里面有两个比较明显的问题.具体如下:

1

1.你们在计算idf( = log(总文本数/词所在的文本数))的时候,总文本(lexiconNumDocs)数取的是0,(具体赋值在keywordLoad.cpp的109行,对其进行model>>lexiconNumDocs赋值这一步,得到的大小是0)这导致所有词的idf值都是inf(无穷大). 2.你们在读取文件res/thucke/pro_forward的时候,你们是想按照book/key的顺序读取的,但代码其实是在按key/book的顺序读取的,这也是一个错误.你可以通过printf文件的size来看,会发现300w的数据在读取后只保留了200w个.

[BUG]: examples/language/gpt/experiments/pipeline_parallel

2

### 🐛 Describe the bug **I can't run this example successfully, with the default like this:** Traceback (most recent call last): File "/home/guozitao/anaconda3/envs/colossalai/lib/python3.9/site-packages/torch/distributed/rpc/internal.py", line 206, in _run_function result = python_udf.func(*python_udf.args,...

能否给一个微调Orion-14B-Chat-RAG模型时使用的prompt模板？

4

如题所示，我在想如果使用相同的prompt模板，本地的rag效果应该会更好，谢谢各位大佬们~

如题所示，求解答

求助：模型qwen2.5-7b-instruct全量sft的时候，训练过程中loss突然变为0。

5

### Reminder - [X] I have read the README and searched the existing issues. ### System Info - `llamafactory` version: 0.9.1.dev0 - Platform: Linux-3.10.0-1160.el7.x86_64-x86_64-with-glibc2.35 - Python version: 3.10.0 - PyTorch...