Songming Zhang

支持incremental decoding吗？

3

如题

我看源码里直接给encoder的token_type_ids输入了全1的tensor？

请问预训练时所采用的输入数据格式是什么样的？

8

例如是否[CLS]开头，[SEP]结尾，句间是否有分隔符等等，包括encoder和decoder的数据格式，谢谢~

[BUG/Help] 运行bash ds_train_finetune.sh报错

4

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 直接运行 `bash ds_train_finetune.sh` 会报以下错误： Traceback (most recent call last): File "/data/zhangsm/chatglm/ChatGLM2-6B/ptuning/main.py",...

请问运行bash ds_train_finetune.sh所需的最小资源是多少？

10

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 目前我尝试用单张A100 80G或4张A100 40G运行默认的 `ds_train_finetune.sh` 脚本，使用 `AdvertiseGen` 数据集在 `per_device_train_batch_size=1` 的情况下仍然会爆显存，请问全量微调的最低资源要求是多少？ ### Expected...

RuntimeError: Request failed with status code 500: No available agent to submit job, please try again later..

5

使用ray进行ppo的时候，在creating a file package for local directory（会卡1分钟左右）之后，会报错`No available agent to submit job, please try again later..`，如下图所示。请问这是什么原因？ 我确认了下，openrlhf目录下只有总计1M的代码文件，应该和这个目录无关。 脚本如下： ``` set -x work_dir=my_work_dir code_dir=$work_dir/OpenRLHF export PYTHONPATH=$code_dir:$PYTHONPATH data_path=$work_dir/data/ultrafeedback_binarized/ model_path=$work_dir/checkpoint/sft/qwen2_5_1_5b_base_ultrachat200k_bsz128_lr2e-5 reward_model_path=$work_dir/checkpoint/reward_model/qwen2_5_1_5b_on_ultrafeedback_bsz128_lr2e-5 task=ppo_ray batch_size=128...