yanwenjie1

I used to use the local SQLite3 database (start command label studio start - p 8081) before, but now I want to switch to the local PGSQL database (start command...

旋转位置编码的实现是不是有点问题

1

qw:[batchsize, 150, 8, 64], kw:[batchsize, 150, 8, 64] 依次应该是 batch_size max_len len(labels) dim_embedding 但是RoPEPositionEncoding的forward实现的时候，默认-2是max_len，应该是-3才对，相对应的下面的乘法也不太对