Attention_ocr.pytorch icon indicating copy to clipboard operation
Attention_ocr.pytorch copied to clipboard

你好,非常感谢你的代码,我正在参考它理解Attention-OCR,但是我有一些不明白的地方,

Open SongyiGao opened this issue 6 years ago • 4 comments

image 我想知道“教师强制:将目标label作为下一个输入”是在干什么?

SongyiGao avatar Jan 11 '19 07:01 SongyiGao

image 我想知道“教师强制:将目标label作为下一个输入”是在干什么?

加速模型收敛的过程

chenjun2hao avatar Jan 11 '19 08:01 chenjun2hao

image 我想知道“教师强制:将目标label作为下一个输入”是在干什么?

加速模型收敛的过程

使用教师强制和不用教师强制训练出来的最终模型精度是否会不一样呢?

SongyiGao avatar Jan 11 '19 08:01 SongyiGao

image 我想知道“教师强制:将目标label作为下一个输入”是在干什么?

加速模型收敛的过程

使用教师强制和不用教师强制训练出来的最终模型精度是否会不一样呢?

应该会不一样,本来就是随机梯度下降。因为rnn本来就比较难训练,不采用teach forcing有可能出现不收敛的情况

chenjun2hao avatar Jan 11 '19 09:01 chenjun2hao

image 我想知道“教师强制:将目标label作为下一个输入”是在干什么?

加速模型收敛的过程

使用教师强制和不用教师强制训练出来的最终模型精度是否会不一样呢?

应该会不一样,本来就是随机梯度下降。因为rnn本来就比较难训练,不采用teach forcing有可能出现不收敛的情况

您好 我想让attention层输出任意的形状(后面再接一个linear,便于使用softmax的变体) 而不是num_class,所以使用teacher forcing会冲突,如果不使用 teacher forcing,应该如何修改代码。

LJXLJXLJX avatar Jan 07 '20 14:01 LJXLJXLJX