Knover icon indicating copy to clipboard operation
Knover copied to clipboard

knover/data/dialog_reader.py里_gen_self_attn_mask函数对unidirecional的情况处理是不是不全

Open wfeagle opened this issue 3 years ago • 1 comments

正在学习plato-2的代码,发现_gen_self_attn_mask函数对is_unidirecional为真时的操作是不是对input_mask_data不起作用? 通过这个参数对attention网络实现单边或双边的吧?

wfeagle avatar Oct 12 '21 12:10 wfeagle

你说的是这个吧?mask_data https://github.com/PaddlePaddle/Knover/blob/ac58d760973cacb163b5dc5e1be0b7c54ca75140/knover/data/dialog_reader.py#L584 这个是 python 语法的问题,mask_data 是input_mask_data这个 list 的一个元素的引用,修改的 mask_data 也会同步到 input_mask_data

参考: 图片

sserdoubleh avatar Oct 12 '21 12:10 sserdoubleh