recool08

【求助！！！】使用ColossalAI训练出来的模型效果很差，不知道是什么原因？

4

我用ColossalAI训练GPT2模型（参考示例：https://github.com/hpcaitech/ColossalAI-Examples/tree/main/language/gpt ），训练出来的效果很差，用模型推理出来的都是逗号、句号、“的”、“是”、“我”、“你”、“这”等等语言中出现概率最高的词，中英文的模型我都训练过，都是这样。不知道是模型训练有问题，还是推理方法有问题？ 我的核心推理代码如下： ### 加载模型（模型训练周期Epoch=25） model = gpt2_small() checkpoint = torch.load("colossalai_model.pt") model_state = checkpoint['model'] model.load_state_dict(model_state, strict=TRUE) model.eval() ### 推理过程 indexed_tokens = [6759, 487, 17, 34, 11] # [6759, 487, 17,...