QuentinAI

> > 谢谢大佬回复，针对您的回复，我再问细点： > > > > 1. “需要使用那个数据训练一下，在测试呀。”———我现在是在GPT2预训练模型的基础上做微博摘要数据的finetune，您这句话的意思就是这个吧？还是说先用微博摘要数据做预训练，再用微博摘要数据做finetune？ > > 2. “unilm那个为了保证效果，采用的beamsearch解码。这个项目是为了展示结果的多样性，采用的topk和topp解码”————是不是这里解码改成beam search，最后rouge的效果会好点？ > > 3. “本项目的gpt2模型，我是随机初始化，并且训练轮数仅有5轮”————我看了下你GPT2训练是用的更大的微博数据，unilm那个微博数据是简化版本，我测试得到rouge20%这个结论用的数据是和unilm一致，为了对比 > > 4. 能不能给一些GPT2提高rouge的建议？ > > 感谢大佬！ > > 回复2. 我写了一个beam search解码效果还可以，rouge能到40%...

您好，请问您现在还有使用transformer+ctc吗？效果如何呢？最近也准备先尝试一下ctc的，后面再试一下attention的 @wuxiaolianggit

I met the same problem. How could u solve it?