Xiaoyu.S

> Very thanks for your reply. > I do not turn on the coverage loss. However, according to the figure 2 in the readme, the result without coverage loss is...

hi I think you should train without coverage first and retrain with coverage.

> 谢谢大佬回复，针对您的回复，我再问细点： > > 1. “需要使用那个数据训练一下，在测试呀。”———我现在是在GPT2预训练模型的基础上做微博摘要数据的finetune，您这句话的意思就是这个吧？还是说先用微博摘要数据做预训练，再用微博摘要数据做finetune？ > 2. “unilm那个为了保证效果，采用的beamsearch解码。这个项目是为了展示结果的多样性，采用的topk和topp解码”————是不是这里解码改成beam search，最后rouge的效果会好点？ > 3. “本项目的gpt2模型，我是随机初始化，并且训练轮数仅有5轮”————我看了下你GPT2训练是用的更大的微博数据，unilm那个微博数据是简化版本，我测试得到rouge20%这个结论用的数据是和unilm一致，为了对比 > 4. 能不能给一些GPT2提高rouge的建议？ > 感谢大佬！ 回复2. 我写了一个beam search解码效果还可以，rouge能到40%

> 该预训练模型的最大文本长度支持是512，对于超出这个范围的长度的文本，请问应该怎么操作呢 理论上GPT-2 default 1024，感觉你有自己的数据集按照大佬思路从头训练自己的就行了

> emmmm硬件属实不大行，我尝试自己从头训练，但是gpt2确实太大了，我的服务器跑不动……所以只能找预训练模型 发自我的iPhone > […](#) > ------------------ 原始邮件 ------------------ 发件人: Xiaoyu.S ***@***.***> 发送时间: 2022年5月30日 17:22 收件人: liucongg/GPT2-NewsTitle ***@***.***> 抄送: Fino2020 ***@***.***>, Author ***@***.***> 主题: Re: [liucongg/GPT2-NewsTitle] 关于长文本标题生成的一些问题 (Issue #30) 那我建议你可以适当减少heads和layers

@bab2min I'm sorry i didn't make myself clear. I read a paper which mentioned the calculation method of vector representation of topic word. （As shown below）  Could you please...

> Hello @Sixy1204 What does the word embedding vectors in topic space mean? After training, LDA model generates document-topic distributions and topic-word distributions. If you want to get topic distributions...