syspider

生成的时候可以使用past_key_values机制加速。博主生成的时候每一次输入都是整个序列，改进后能快不少

他复用了GPT2LMHeadModel这个类里的loss，这里面计算loss的时候已经错位了，你可以看源码