关于max_new_tokens的运行错误，请问如何修改

[izhangxueyong]

关于max_new_tokens的运行错误，请问如何修改？ 错误描述如下： Input length of input_ids is 1303, but max_length is set to 1024. This can lead to unexpected behavior. You should consider increasing max_new_tokens.

[hanyullai]

你好！这个错误是因为模型的最大输入长度是1024，但是推理输入的长度是1303，超过了最大限制。由于模型及浏览器检索的输入限制，建议将prompt长度缩短到支持的范围内。