BertGCN icon indicating copy to clipboard operation
BertGCN copied to clipboard

Published 20 hours ago • verified publisher icon ZeroRin

您好，我这边有个小小的疑问，为什么单词节点不用glove之类的词向量进行初始化呢，您有做过相关的实验吗

Open clearloveclearlove opened this issue 3 years ago • 3 comments

您好，我这边有个小小的疑问，为什么单词节点不用glove之类的词向量进行初始化呢，您有做过相关的实验吗

clearloveclearlove avatar Sep 14 '21 09:09 clearloveclearlove

有考虑过但没来得及去做, 后续换方向了这边也就没怎么继续推进

ZeroRin avatar Oct 13 '21 05:10 ZeroRin

您好，我这边有个小小的疑问，为什么单词节点不用glove之类的词向量进行初始化呢，您有做过相关的实验吗

我看了代码，好像所有的节点都是用BERT的表示作为初始化，这样词的节点表示永远为零。

qhd1996 avatar Dec 05 '21 02:12 qhd1996

您好，我这边有个小小的疑问，为什么单词节点不用glove之类的词向量进行初始化呢，您有做过相关的实验吗

我看了代码，好像所有的节点都是用BERT的表示作为初始化，这样词的节点表示永远为零。

想请教一下，这里的BERT不是预训练的BERT么？

AlucardNosferatu avatar Jun 14 '23 09:06 AlucardNosferatu