terminator123

> output = model(input_ids, token_type_ids=token_type_ids) logits = output.logits 改成这个可以跑通，但是我的预测结果全是乱码的，不知道为啥

> 不知道呀，你要是解决了告诉我下

--decode_hparams="beam_size=4,alpha=0.1,return_beams=True"

一个item的gender 具体是指什么特征啊？ 商品没有性别啊

i met the same prob, have u solved it ?

> > > 同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？ > > > > > > https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 这种方式可以 > > 你们测试速度怎么样？我怎么看还没有循环速度快。显存24G 同问，我测下来几乎是成倍增加，预测结果是正常的

transformer的generate方法 bs>1的时候，到底是串行还是并行啊

同求

> 麻烦问下 PRE_SEQ_LEN max_source_length 和 max_target_length，这三个的关系是怎样 ？ 比如我的问题是 请将下面的文本生成摘要：【文本】【答案】 “请将下面的文本生成摘要 ”这部分的最大长度是 PRE_SEQ_LEN 【文本】的最大长度是max_source_length 【答案】的最大长度是 max_target_length 是我理解的这样吗

> Hi, you can use [this script](https://github.com/haotian-liu/LLaVA/blob/main/scripts/merge_lora_weights.py) for merge lora weights. We'll update this in instruction as well. Thanks. what is the model-base parameter after pretrain?