noforit

Why FSDP not DPP？

1

Could I kindly inquire as to why, given the relatively small size of the tinyllama model, the Strategy was made to utilize FSDP (Fully Sharded Data Parallel) instead of DDP...

stopwords_filter 为什么是过滤掉小于某个阈值的样本

2

### Before Asking 在提问之前 - [X] I have read the [README](https://github.com/alibaba/data-juicer/blob/main/README.md) carefully. 我已经仔细阅读了 [README](https://github.com/alibaba/data-juicer/blob/main/README_ZH.md) 上的操作指引。 - [X] I have pulled the latest code of main branch to run again and...

[Feature] 请问使用vllm评测时怎么实现类似HF多卡数据并行？

16

### 描述该功能 我在评测时的模型type 为vllm，参数如下：  但是显卡占用只使用了一张卡来评测任务  我想让任务划分为几份分别在8张卡上评测，这种功能可以添加吗？还是说可以实现，麻烦解答一下。非常感激！ 类似我如果设定为模型type为HF的话，会自动达到这种效果。   ### 是否希望自己实现该功能？ - [ ] 我希望自己来实现这一功能，并向 OpenCompass 贡献代码！

### Describe the feature   在batch_size 分别为128，64，16的情况下，deepseek 1.3B 的P@1 分别是31.71、30.49、29.27 请问这是为什么？ ### Will you implement it? - [ ] I would like to implement this feature and create a...

上传模型的时候，LFS track 的内容无法上传

2

**General Question** 我在上传模型的时候，LFS track 的文件无法上传，而其它不通过LFS管理的文件能正常push，请问有遇到类似问题的吗，或者是为什么？ 麻烦了   Before asking a question, make sure you have: * Searched the tutorial on modelscope [doc-site](https://modelscope.cn/docs) * Googled your question. * Searched related...