cococo

> ## 一开始照搬模型设置训练了一个大型数据集，始终无法收敛到理想区间，又拿斗破来修改模型参数玩了个把星期，各种调参。 > ### 总结如下： > #### 1. 模型的收敛取决于词嵌入的维度，维度越大收敛越快越好。（有没有上限就懒得去测试了，电费要紧。） > #### 2.head与隐藏层数可以适当裁剪，隐藏层可以设置高一些，multi-head感觉超过5层之后似乎对于生成的结果影响并不大。 > #### 3. 模型长度不影响训练，但与学习效果有很大关联，能大些就大些。 > #### 4.训练效率问题，模型参数与训练效率息息相关，合理的batch数量、GPU显存、适当的模型参数（multi-head拉低，layer尽量比head大），100%使用率还是能达到的，当然了，小数据集随便跑吧，不用纠结，反正不费多少时间。 > #### 5. 鄙人发现，似乎参数与batch设置为双数，训练起来总有种飘飘欲仙的感觉，不知道是不是错觉。 > ## 一句话： > > 降低multi-head，适当保持layer层，embed越大越好，ctx，学习长度当然大了好了，数据集交叉学习收敛更快，最终生成效果更好，loss压到0.3以下，基本可以生成十分通顺的文章了。如何加快训练速度是个头痛的事，fp16精度损失实在太大，调整了很多很多次模型，始终是坐过山车，要么就不学习，最终只能放弃使用fp16。。。...

非常感谢太详细了！ walkingonthestreet 于2019年12月28日 周六15:14写道： > 还有就是，pretrain的话，要禁用掉动态学习率，否则loss不降反升。 > > — > You are receiving this because you were mentioned. > Reply to this email directly, view it on GitHub > ,...

@walkingonthestreet 从训练速度来看，原版中的每个循环中，分好的每个文件都需要读一遍确实会慢一些。我是直接全部读到list[]里了，然后调用。内存大点所以没有迭代（说实话属于不会用pytorch的数据加载工具）。 整体来说，非大规模语料情况下数据加载不是瓶颈，主要还在于参数。哪些参数能够精简同时效果不下降这方面你给我很大的启发，我会测试一下，然后来汇报。 另外，数据的生成速度有切实可行的办法来提高吗？谢谢

@Morizeyao 感谢作者冒泡。 我指的是generate.py的速度。 实测下来感觉sample_sequence、fast_sample_sequence速度差不多。1080Ti下长度七八百的话需要1分钟。大量测试的话，速度有点低。 如果在CPU下测试，会发现如果超过100字，后面会越来越慢，时间消耗是指数增长的。

Anxious expectation python 3.11.0

> 希望能对python 3.11的支持。3.11在速度上有了明显的优势 自己升级下内核也可以的。另外注意talib的编译就行了。 与其py311，不如直接跨代到py312或313，直接改造为多解释器的运行模式，这样既有速度提升，又更充分利用多核。

> > > > 希望能对python 3.11的支持。3.11在速度上有了明显的优势 > > > > > > > > > 自己升级下内核也可以的。另外注意talib的编译就行了。 > > > 与其py311，不如直接跨代到py312或313，直接改造为多解释器的运行模式，这样既有速度提升，又更充分利用多核。 > > > > > > 现在的py312已经可以用多线程了吗 > > 从C代码层面启动程序，创建Python的解释器对象，并且初始化每个解释器一把独立的GIL，这种方式每个解释器可以在独立的线程中运行。...

> If you open `build//Analysis-00.toc` and search for `pywintypes310.dll`, which two locations were the two copies of `pywintypes310.dll` collected from? ('pywintypes310.dll', 'd:\\mambaforge\\Library\\bin\\pywintypes310.dll', 'BINARY'), I have already switched to envs using...

> And the other one (the correct one) is from `envs\py310\Lib\site-packages\pywin32_system32`? > > Can you determine where ` 'd:\mambaforge\Library\bin\pywintypes310.dll'` came from? Is this the base environment that has pywin32 conda...

> > And the other one (the correct one) is from `envs\py310\Lib\site-packages\pywin32_system32`? > > Can you determine where ` 'd:\mambaforge\Library\bin\pywintypes310.dll'` came from? Is this the base environment that has pywin32...