gpt2-ml icon indicating copy to clipboard operation
gpt2-ml copied to clipboard

请问有finetune教程的教程吗

Open wind91725 opened this issue 4 years ago • 9 comments

您好,请问如何使用自己的数据集finetune?有没有啥readme之类的 ?

wind91725 avatar Apr 10 '20 01:04 wind91725

+1

SeekPoint avatar Apr 26 '20 08:04 SeekPoint

+1

fred-github avatar Apr 30 '20 05:04 fred-github

+1

sugarshaw95 avatar Apr 30 '20 08:04 sugarshaw95

finetune教程 https://github.com/wind91725/gpt2-ml-finetune-

wind91725 avatar May 07 '20 10:05 wind91725

finetune教程 https://github.com/wind91725/gpt2-ml-finetune-

觉得奇怪的地方, train和 inference的时候使用的vocabulary 不是同一个文件的?

huangdacheng avatar Sep 03 '20 13:09 huangdacheng

用的是不是tokenization/clue-vocab.txt?

danielkaifeng avatar Sep 09 '20 02:09 danielkaifeng

用的是不是tokenization/clue-vocab.txt?

我的理解 应该是 train和inference 应该是需要是同一个 vocabulary,因为原来作者给的5G模型 用的是 tokenization/clue-vocab.txt,那应该finetuning的时候 也使用这个

huangdacheng avatar Sep 09 '20 02:09 huangdacheng

finetune教程 https://github.com/wind91725/gpt2-ml-finetune-

请问能对最新模型进行调优吗?没看到有教程,请教。

cncbec avatar Sep 26 '20 02:09 cncbec

最新模型地址 https://github.com/zaqzaq163/gpt2-ml-finetune-example

zaqzaq163 avatar Apr 02 '21 14:04 zaqzaq163