AustinYao
Results
2
issues of
AustinYao
您好，我将您的模型从Bert改为Albert，利用transformer将BertTokenization与BertModel改为ALbertTokenization与AlbertModel，并运行了bert_spc与lcf_bert，但精度一直在45上下波动，Loss也一直高于1。起初怀疑是albert 将NSP改为SOP后 bert-spc 可能不再适应，于是运行了没有bert_spc的aen模型，但仍没有解决问题，所以想请教一下您可能是什么原因造成的，谢谢！
我在A Local Context Focus Mechanism for Aspect-Based Sentiment Classification中看到在经过CDW或CDM层后有一次MHSA，之后才是与global的部分cat，但是在您的代码（lcf_bert)中似乎经过CDW后就直接与global部分cat，这是为什么呢