newbby123 comments

Repositories
Issues
Comments

Results 1 comments of


                                            newbby123

部署后报错 size mismatch for transformer.word_embeddings.weight: copying a param with shape torch.Size([18816, 12288]) from checkpoint, the shape in current model is torch.Size([150528, 12288]).

这个问题在docs/quantization.md中有说明，我们解压得到了模型文件是适应8GPU的，如果你需要在更少数量的GPU上运行，比如4块GPU，需要使用命令：python tools/convert_tp.py --input-folder --output-folder --target-tp 4；其中是解压后模型的路径，是转换参数文件后输出的路径