mRASP icon indicating copy to clipboard operation
mRASP copied to clipboard

en-de在toy上复现问题

Open leonodelee opened this issue 3 years ago • 12 comments

您好,请问我直接用您的en-de模型在toy数据形成的二进制文件上跑,出现以下错误是为什么呢?hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

leonodelee avatar Apr 14 '21 08:04 leonodelee

上面这个版本问题解决了,但是遇到了新的问题,请问我在预处理之后获得的mergerd_data为啥为空呢,我也没有找到对应的vocab.bpe.600;以至于预处理的数据不对,调用fairseq generate导致后面字典和数据维度对不上

leonodelee avatar Apr 15 '21 03:04 leonodelee

上面这个版本问题解决了,但是遇到了新的问题,请问我在预处理之后获得的mergerd_data为啥为空呢,我也没有找到对应的vocab.bpe.600;以至于预处理的数据不对,调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的,可是现在链接用不了

luxinyu1 avatar Apr 17 '21 11:04 luxinyu1

您好,请问我直接用您的en-de模型在toy数据形成的二进制文件上跑,出现以下错误是为什么呢?hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

您好,请问我直接用您的en-de模型在toy数据形成的二进制文件上跑,出现以下错误是为什么呢?hydra.errors.ConfigCompositionException: Error merging override generation.print_alignment=False

你好,我也报了这个错,可以告诉我怎么解决么

MayDomine avatar Aug 17 '21 07:08 MayDomine

您好,我也报了这个错,请问您最后是怎么解决的呢?

wying8349 avatar Sep 13 '21 05:09 wying8349

您好,我也报了这个错,请问您最后是怎么解决的呢?

把你现在fairseq删掉,去git上找到最新的release,下载源码重装一下就好了,版本问题

MayDomine avatar Sep 13 '21 06:09 MayDomine

上面这个版本问题解决了,但是遇到了新的问题,请问我在预处理之后获得的mergerd_data为啥为空呢,我也没有找到对应的vocab.bpe.600;以至于预处理的数据不对,调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的,可是现在链接用不了

您好,我在dataset小节中找到了vocab.bep.32000,请问这个可以替代vocab.bep.600吗

wying8349 avatar Oct 21 '21 03:10 wying8349

时间太长,我已经忘了。。。

---原始邮件--- 发件人: @.> 发送时间: 2021年10月21日(周四) 中午11:02 收件人: @.>; 抄送: @.@.>; 主题: Re: [linzehui/mRASP] en-de在toy上复现问题 (#17)

上面这个版本问题解决了,但是遇到了新的问题,请问我在预处理之后获得的mergerd_data为啥为空呢,我也没有找到对应的vocab.bpe.600;以至于预处理的数据不对,调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的,可是现在链接用不了

您好,我在dataset小节中找到了vocab.bep.32000,请问这个可以替代vocab.bep.600吗

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

MayDomine avatar Oct 21 '21 03:10 MayDomine

我记得是要看一下处理日志,看日志哪一步做错了,应该在data目录下

---原始邮件--- 发件人: @.> 发送时间: 2021年10月21日(周四) 中午11:02 收件人: @.>; 抄送: @.@.>; 主题: Re: [linzehui/mRASP] en-de在toy上复现问题 (#17)

上面这个版本问题解决了,但是遇到了新的问题,请问我在预处理之后获得的mergerd_data为啥为空呢,我也没有找到对应的vocab.bpe.600;以至于预处理的数据不对,调用fairseq generate导致后面字典和数据维度对不上

vocab.bpe可能是在README中dataset小节中下载的,可是现在链接用不了

您好,我在dataset小节中找到了vocab.bep.32000,请问这个可以替代vocab.bep.600吗

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

MayDomine avatar Oct 21 '21 03:10 MayDomine

您好,我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】,使用的vocab.bpe.32000代替600,checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt,在执行export CUDA_VISIBLE_DEVICES=1 export EVAL_GPU_INDEX=${eval_gpu_index} bash ${PROJECT_ROOT}/train/fine-tune.sh ${PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml 时,屏幕打印出如下错误: Usage: sacremoses tokenize [OPTIONS] Try 'sacremoses tokenize -h' for help. Error: No such option: -l sacreBLEU: System and reference streams have different lengths. 请帮忙看一下,是什么问题

S-GeGe avatar Nov 10 '21 10:11 S-GeGe

我也遇到了同样的问题,请问该问题您是否已经解决?

rfvscj avatar Apr 12 '22 14:04 rfvscj

您好,我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】,使用的vocab.bpe.32000代替600,checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt,在执行export CUDA_VISIBLE_DEVICES=1 export EVAL_GPU_INDEX=${eval_gpu_index} bash ${PROJECT_ROOT}/train/fine-tune.sh ${PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml 时,屏幕打印出如下错误: Usage: sacremoses tokenize [OPTIONS] Try 'sacremoses tokenize -h' for help. Error: No such option: -l sacreBLEU: System and reference streams have different lengths. 请帮忙看一下,是什么问题

你好, sacreBLEU: System and reference streams have different lengths.的意思是reference和hypo文件长度不一致,另外sacreBLEU的版本也在更新, 具体的可以查看sacreBLEU的git官网查看使用说明。

PANXiao1994 avatar Apr 14 '22 21:04 PANXiao1994

您好,我参考知乎进行微调【https://zhuanlan.zhihu.com/p/353070757】,使用的vocab.bpe.32000代替600,checkpoint_best.pt使用的mRASP-PC32-6enc6dec.pt,在执行export CUDA_VISIBLE_DEVICES=1 export EVAL_GPU_INDEX=${eval_gpu_index} bash PROJECTROOT/train/fine−tune.sh{PROJECT_ROOT}/experiments/example/configs/train/fine-tune/en2de_transformer_big.yml ${PROJECT_ROOT}/experiments/example/configs/eval/en2de_eval.yml 时,屏幕打印出如下错误: Usage: sacremoses tokenize [OPTIONS] Try 'sacremoses tokenize -h' for help. Error: No such option: -l sacreBLEU: System and reference streams have different lengths. 请帮忙看一下,是什么问题

你好,请问这个问题你是怎么解决的呀?

wenHK avatar Aug 04 '22 08:08 wenHK