Knover 如何从hugging face的模型作迁移

如何从hugging face的模型作迁移

Open guijuzhejiang opened this issue 3 years ago • 2 comments

感谢您开源的工作。如果手上没有大规模的训练数据，而又想利用已有模型的知识，是否能利用hugging face上transformer模型做微调？

Jan 09 '22 07:01 guijuzhejiang

如果模型结构比较简单，迁移会简单些。迁移主要就是：模型结构，分词和对齐数据处理

如果有这方面的需求，我们后续考虑把这方面的代码也整出来

Jan 11 '22 03:01 sserdoubleh

感谢回复，有些hugging face上的transformer已经学到了大量知识，如果能用他们作为pretrained models作迁移学习，就能有效利用他们学到的知识，这样也省去了重复的训练。麻烦整理开源这方面的代码。十分感谢

Jan 12 '22 03:01 guijuzhejiang