GH

请问，gpt2 转换成lightseq后，支持传入token_type_ids吗？

3

huggingface gpt2转换成 lightseq gpt.pb后，传入token_type_ids后，会报 ``` tensorrtserver.api.InferenceServerException: [ 0] unknown input 'token_type_ids' for 'gpt_generation' ``` 在训练时，是传入token_type_ids的，没有模型结构改变。

如题 在A10（24G）推理 在线等，挺急的，感谢回复！

关于添加新token的问题

1

苏神，我在fine-tune 您中文精简过的t5做对话生成任务，现在训练数据中有些tag（像 [ask_acc]、[diagnose]、[other] 等），在生成时不想被切分，想把这些tag添加在vocab中(sentencepiece_cn.model)，请问应该如何实现? 数据格式： {"src": "{\"gender\": \"女\", \"age_group\": \"16~35岁\"}[SEP]患者:我昨天发烧了，烧到38度4，去打了两瓶吊针，降到36度8下午又升到37度四。今天早上一直是低烧，现在又发烧到38度6鼻子不通气，咳嗽，头晕头痛能直接说么", "tgt": "医生:[ask_acc]输的什么液体？有没有盗汗？"}

reward model训练的哪些方面的能力

1

请问，reward model在训练时，训练数据主要是哪些方面的，主要训练reward model哪些方面的打分能力，这样我们在使用它做PPO时，才能知道用哪些方面的训练数据，训练policy model哪些方面的能力。