DTDXG

看上去好像不太正常

> 您的数据量有多大呢，训练一个完整epoch观察下 大概13万条左右的文本，500多M，生成json文件之后15万条，训练起来有点慢，我已经把layers调到6了，4个M40显卡 跑一个epoch大概需要18个小时，目前第一个epoch大概跑了40%了，但是loss一直还在提升，有点崩溃 

我试过32层的layer和24层的layer，loss基本上是同样的情况，会不会是模板的问题，我文本处理完后的格式如下  然后会做根据你提供的滑动窗口进行tokenizer

这个是24层的结果 

看上去是的，昨晚跑了3个epoch，直到epoch1 loss还是提升，之后就开始缓慢下降了，我再观察一下 感谢

周末把batchsize调到了8，然后5000条文本训练了下，10个epoch发现loss没有下降，是不是训练不够了，我看ChID任务上是1000~2000之后才开始降的，另外感觉我这个行业文本不是很复杂，所以微调起来不应该这个样子 Epoch 0, global step 10, total step 2142, train lm loss: 10.077742505073548 Epoch 0, global step 20, total step 2142, train lm loss: 10.831316995620728 Epoch 0, global step 30,...

训练集总共6861条，验证集607条，测试集706条，看验证集的输出结果跟训练集基本上一致，感觉不是过拟合的问题 Dev losses: Epoch: 0, Global step: 50, Dev loss: 10.897177935356186 Epoch: 0, Global step: 100, Dev loss: 11.064051420206116 Epoch: 0, Global step: 150, Dev loss: 10.948829458582969 Epoch: 0, Global...

生成的文本基本不可用。我是按照你的novel案例改的，这个loss还是太大了，一点没有下降趋势，不知道是不是生成模板的问题

医疗行业的长文本生成任务，训练语料就是几万篇的医疗文本，每篇用一个txt保存，目标是给一个标题，模型生成一段具体的文本解释或说明，所以我参照的是你的novel模板

我理解是属于标题写作吧，我的数据格式就是如下：  txt的标题和txt里面具体的文本，模型的任务就是根据标题生成一段文本，我现在数据处理的时候就是把标题也放到文本里面了当成整段文本来做