GPT2-chitchat icon indicating copy to clipboard operation
GPT2-chitchat copied to clipboard

Published 20 hours ago • verified publisher icon yangjianxin1

GPT-2预训练模型

Open ECNUHP opened this issue 5 years ago • 5 comments

您好，想问一下您，gpt-2中文预训练模型用的是哪个呢？

ECNUHP avatar Feb 20 '20 09:02 ECNUHP

您好，想问一下您，gpt-2中文预训练模型用的是哪个呢？

您好, 我也有相同的问题, 请问解决了么

LiuYingKai avatar Feb 24 '20 05:02 LiuYingKai

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

yangjianxin1 avatar Mar 01 '20 03:03 yangjianxin1

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

您好，我想在MMI Model中断点续训是使用这个参数么？怎样断点续训？

LiuYingKai avatar Mar 05 '20 09:03 LiuYingKai

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

您好，我想在MMI Model中断点续训是使用这个参数么？怎样断点续训？

你好，我仔细看了下代码，已经解决

LiuYingKai avatar Mar 06 '20 01:03 LiuYingKai

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

您好，请问一下预训练模型接入的话，续训使用自己添加的语料，loss下降很慢，请问您调参经验能分享一下么?我的设备最大支持的batch_size只有16，当前的学习率是0.0003

LiuYingKai avatar Mar 06 '20 05:03 LiuYingKai