ABSA-PyTorch icon indicating copy to clipboard operation
ABSA-PyTorch copied to clipboard

如何调用并预训练中文模型

Open Shuo6057 opened this issue 4 years ago • 7 comments

@songyouwei chinese-bert-wwm是我找到的不错的中文预训练数据集,但是我在如何调用该数据集上遇到了问题,想请教如何调用,或者如何修改代码使其可以适配到网络中?https://github.com/ymcui/Chinese-BERT-wwm#%E4%BD%BF%E7%94%A8%E5%BB%BA%E8%AE%AE

Shuo6057 avatar Dec 25 '20 03:12 Shuo6057

@Shuo6057 您好,请问您运行bert模型可以成功吗?为什么我运行的默认的train.py文件会出错呢

xu-2019 avatar Dec 25 '20 05:12 xu-2019

@Shuo6057 您好,请问您运行bert模型可以成功吗?为什么我运行的默认的train.py文件会出错呢

您好,我用他本身的模型和数据可以跑通。就是现在想改成中文数据集,因此需要预训练中文的bert模型,目前还不知道如何修改代码使其可以预训练中文的模型。

Shuo6057 avatar Dec 25 '20 06:12 Shuo6057

@Shuo6057 您好,请问您运行bert模型可以成功吗?为什么我运行的默认的train.py文件会出错呢

您好,我用他本身的模型和数据可以跑通。就是现在想改成中文数据集,因此需要预训练中文的bert模型,目前还不知道如何修改代码使其可以预训练中文的模型。

https://github.com/songyouwei/ABSA-PyTorch/blob/8f654060f0ba293e110be141b9c232eec1287d46/train.py#L198 bert-base-uncased修改成bert-base-chinese

eliasyin avatar Dec 25 '20 09:12 eliasyin

@Shuo6057 您好,请问您运行bert模型可以成功吗?为什么我运行的默认的train.py文件会出错呢

您好,我用他本身的模型和数据可以跑通。就是现在想改成中文数据集,因此需要预训练中文的bert模型,目前还不知道如何修改代码使其可以预训练中文的模型。

https://github.com/songyouwei/ABSA-PyTorch/blob/8f654060f0ba293e110be141b9c232eec1287d46/train.py#L198

bert-base-uncased修改成bert-base-chinese

谢谢,我这里也像你一样修改了,也尝试了一些其他的预训练模型,但是我的数据集不是graph格式,所以还要进一步修改data_utils.py中的代码以使其适配。

Shuo6057 avatar Dec 25 '20 09:12 Shuo6057

@Shuo6057 您好,请问您运行bert模型可以成功吗?为什么我运行的默认的train.py文件会出错呢

您好,我用他本身的模型和数据可以跑通。就是现在想改成中文数据集,因此需要预训练中文的bert模型,目前还不知道如何修改代码使其可以预训练中文的模型。

https://github.com/songyouwei/ABSA-PyTorch/blob/8f654060f0ba293e110be141b9c232eec1287d46/train.py#L198

bert-base-uncased修改成bert-base-chinese

谢谢,我这里也像你一样修改了,也尝试了一些其他的预训练模型,但是我的数据集不是graph格式,所以还要进一步修改data_utils.py中的代码以使其适配。

您好,想请问一下您有继续修改代码以使非graph格式的数据适配于该模型吗?因为我的数据集是txt形式的,不知道怎么改成seg.graph形式,如能告知,非常感谢!

ph32ph avatar Mar 20 '23 11:03 ph32ph

请问你解决了吗?我也遇到了同样的问题

Guoxuecheng avatar Apr 16 '23 01:04 Guoxuecheng

@songyouwei chinese-bert-wwm是我找到的不错的中文预训练数据集,但是我在如何调用该数据集上遇到了问题,想请教如何调用,或者如何修改代码使其可以适配到网络中?https://github.com/ymcui/Chinese-BERT-wwm#%E4%BD%BF%E7%94%A8%E5%BB%BA%E8%AE%AE

请问一下你解决了吗?我遇到了同样的问题,尽管有ABSA-Pytorch里面有代码可以将数据集格式转化为.graph,但是使用中文数据集运行会报错,ValueError: index can't contain negative values

Guoxuecheng avatar Apr 16 '23 01:04 Guoxuecheng