w066650

在其他的平台是可以的，在trt-llm有什么特需的要求吗？

> repetition_penalty auto conf = texec::SamplingConfig{1}; conf.setRepetitionPenalty(1.0); conf.setPresencePenalty(0.0); conf.setFrequencyPenalty(0.0); 我设置的就是1.0； 还有就是你们的batch_manager和executor 能否提供个源码给我？ 多谢

> > > repetition_penalty > > > > > > auto conf = texec::SamplingConfig{1}; conf.setRepetitionPenalty(1.0); conf.setPresencePenalty(0.0); conf.setFrequencyPenalty(0.0); 我设置的就是1.0； 还有就是你们的batch_manager和executor 能否提供个源码给我？ 多谢 > > 默认 1.0 不会惩罚重复输出的，需要设置一个大于 1.0 的数，你看下其他平台的默认是多少呢有没有对齐。还有我不是 trt-llm 团队的人哈...

@zhangts20 hi 还咨询下：trt-llm 生成文本的时候，偶偶会出现问题，不知道撒情况，在llama上就比较稳定 正常输出：“******************************************！” 偶偶输出："以下是根据用户输入生成的：\n\n******************************************！\n\n注意：以上推荐内容是根据用户输入生成的，可能与实际情况有所出入。请根据实际情况进行调整。" 偶偶出现这种多余的字，prompt时候明确指出了，不要输出上下文内容，但是偶偶还是有这些上下文；感觉指令遵循不好，不知道是不是撒参数设置的问题