wind91725

好的 谢谢苏总回复

有效果 我使用10几M的数据去调优 效果还可以

额 这个词表啥的随你用啊 想用哪个就用哪个 我用的这个是中文bert常用的词表，原版的那个clue词表我没见过 所以就没用

当然越多越好 我自己也就用了7-8m数据吧，也是能看到效果的。1m太少了。。

设置110000 其实只跑1万步 因为原本的预训练模型是跑了10万步 . 在2020年06月11日 14:58，rivaldinho123 写道： 我看参数设置的是110000步，而且batch_size是1的话，就意味着一共也只过了11万条数据就有效果了么？另外想问一下v100单卡训练这样10万步大概要多久？ @wind91725 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

我自己finetune时 也就2000条数据 就有效果了 当然越多越好 在2020年06月11日 15:41，rivaldinho123 写道： 设置110000 其实只跑1万步 因为原本的预训练模型是跑了10万步 . 在2020年06月11日 14:58，rivaldinho123 写道： 我看参数设置的是110000步，而且batch_size是1的话，就意味着一共也只过了11万条数据就有效果了么？另外想问一下v100单卡训练这样10万步大概要多久？ @wind91725 — You are receiving this because you were mentioned. Reply to this email directly,...

时间记不得了 单卡v100 一万步 也就一下午吧 具体记不清了 在2020年06月11日 15:41，wind91725 写道： 我自己finetune时 也就2000条数据 就有效果了 当然越多越好 在2020年06月11日 15:41，rivaldinho123 写道： 设置110000 其实只跑1万步 因为原本的预训练模型是跑了10万步 . 在2020年06月11日 14:58，rivaldinho123 写道： 我看参数设置的是110000步，而且batch_size是1的话，就意味着一共也只过了11万条数据就有效果了么？另外想问一下v100单卡训练这样10万步大概要多久？ @wind91725 — You are receiving this because...

推荐你用 https://github.com/lipiji/Guyu，另一个开源的中文预训练模型，模型小了很多，用起来也方便 在 2020-06-12 17:58:08，"rivaldinho123" 写道： 时间记不得了 单卡v100 一万步 也就一下午吧 具体记不清了 在2020年06月11日 15:41，wind91725 写道： 我自己finetune时 也就2000条数据 就有效果了 当然越多越好 在2020年06月11日 15:41，rivaldinho123 写道： 设置110000 其实只跑1万步 因为原本的预训练模型是跑了10万步 . 在2020年06月11日 14:58，rivaldinho123 写道： 我看参数设置的是110000步，而且batch_size是1的话，就意味着一共也只过了11万条数据就有效果了么？另外想问一下v100单卡训练这样10万步大概要多久？ @wind91725...

只要是文本格式的数据都行，文章、书籍啥的都行， 但最好处理下，比如删除一些url之类，尽量让数据干净些

直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.