ZhouRenQuan

Results 3 comments of ZhouRenQuan

> > 我这边也有这个问题。 现在我处理数据是参照之前glm的方法,构造成下面的形式,但finetune后的结果不及预期,希望能有哪位同学来帮忙答疑一下 > > input tokens: token1 token2 target tokens: token3 token4 > > input_ids: [token1, token2, gMASK_token, eos_token, token3, token4] > > labels: [-100, -100, -100, -100,...

chatglm-6b模型的lm_head和embedding权重是怎么加载的,看到权重是相同的,好像是同一个tensor, 而且发现不在parameters里