matrix

是的

嗯嗯，使用更多的prompt 学习中

近期也将更新模型，可以到时再测试看看

数据参考：https://github.com/CLUEbenchmark/pCLUE

请参考readme里预训练的代码

具体可以参考t5的构建规则哈https://github.com/google-research/text-to-text-transfer-transformer

可以，需要结合transformer开发，抽取特定的token的embedding

可能是网络问题，删除路径重新下载试试，或者手动clone试试，git clone https://huggingface.co/ClueAI/ChatYuan-large-v2

调整下len和batchsize试试看

这个你需要找一些相关pytorch 模型并行多卡的资料看看