CPT icon indicating copy to clipboard operation
CPT copied to clipboard

Published 20 hours ago • verified publisher icon fastnlp

max_position_embeddings是1024吗

Open awdrgyjilplij opened this issue 2 years ago • 2 comments

我看fnlp/cpt-base里面config.json的max_position_embeddings写的1024，但实际上1024会报错，512没问题。 发现代码里用了BertModel当encoder，但是没设置对应的max_position_embeddings 手动改成1024会导致预训练参数加载不进来。 所以我的理解是config.json写错了，实际只支持512。希望能提供一版max_position_embeddings=1024的模型，和bart对齐一下

awdrgyjilplij avatar Jan 20 '22 03:01 awdrgyjilplij

CPT目前只支持512最大句长，未来会提供1024的版本

choosewhatulike avatar Jan 20 '22 07:01 choosewhatulike

请问现在还有提供1024版本模型的计划吗？

maojinyang avatar Jul 30 '22 03:07 maojinyang