Xiao Wang

Problem in Compiling NER from repo

1

I tried to train a new NER tagger. So I compiled the NER repository according to your guideline. It seems that some download links of requirement libs are out of...

您好，看了您的论文觉得很受启发，想follow下您的工作 ：） 需要复现您的实验，但是注意到您的代码里没有上传完整数据， 为了保证数据版本一致，您能提供下用于数据检索的Bert和Roberta的语料下载链接吗？ Xiao Wang

[DOC]: Too little documentation to use

1

### 📚 The doc issue Documentation falls into a little, but not a lot of state. The official tutorial documentation is very brief, and even many methods and classes in...

[DOC]: 文档这么少，几乎没法用

6

### 📚 The doc issue 文档属于有一点，但不是很多的状态。 官方的教程文档非常简略，甚至给出样例的很多方法和类都不会说明用途，我意思是系统和全面的说明。 教程写的不行，那去看代码注释吧，没想到也是几乎没有的状态，对于类和接口的使用场景，输入输出样例，一点都没有提供。 难不成要我们一行一行读代码，给整个框架读懂了，做自己的山寨Colossal-AI？ 真搞不懂，这些必要的东西没做好，就开始大规模宣传噱头干什么？ 还是让我用deepspeed吧，慢死我。

[chatllama]training batch_size=2 would crash

4

[chatllama] Inference is OK. But I try to train ACTOR model with default deepspeed architecture in LLaMA 7B model. However, when my batch size is 1, the code is OK....

输出解析

1

对于每次query返回的结果，chatgpt返回的内容格式可能是不确定的，比如有些是json，有些是table，有的是描述文本。 再比如，它可能回复Yes/是/可以的/没问题，这种情况你们是怎么处理的呢？ 论文里的结果是人根据机器人输出对比正确答案吗，还是用自动化的脚本呢？

SFT packing training error

2

I try to train Qwen2.5-1.5B with long-CoT data with packing mode. My OpenRLHF is latest version. This is my training script: `deepspeed --include localhost:0,1 --master_port 61000 openrlhf/cli/train_sft.py \ --max_len 4000...