KyrieMing

Results 3 comments of


KyrieMing

P-tuuning的一些问题

PVP 是啥意思啊

tf转torch model时要过滤掉pooler层

感觉也没必要在模型里面加上pooler，这个只不过是苏神在做那个sim实验的时候加了个pooler的向量化策略，在转换文件里面加个条件过滤更方便

[BUG] Get "exits with return code = -9" when Creating fp16 ZeRO stage 2 optimizer

> I solve this by setting tensor parallel = 2