Fading Light
Results
1
issues of
Fading Light
你好, 想请教一下,[attention_keras.py](https://github.com/bojone/attention/blob/master/attention_keras.py)中的[第21行](https://github.com/bojone/attention/blob/ae5944a3199b23152974f332ec812ead44507082/attention_keras.py#L21), `position_i = K.cumsum(K.ones_like(x[:,:,0]), 1)-1 #K.arange不支持变长,只好用这种方法生成` 这行代码具体在计算什么? 我翻阅了[论文原文](https://arxiv.org/pdf/1706.03762.pdf)和ones_like, cumsum的keras backend资料,对这行代码的用途猜测是计算论文中Position_Embedding公式的pos值,但不太理解具体是如何实现计算的,论文似乎也没有详细涉及。 请问能解释一下吗?谢谢!