想请教一下，chat模型，目前是支持默认4k tokens长度，怎么样才可以开启外推，获取更多tokens长度

[WCwalker]

Reminder

• [X] I have searched the Github Discussion and issues and have not found anything similar to this.

Motivation

如题

Solution

No response

Alternatives

No response

Anything Else?

No response

Are you willing to submit a PR?

• [ ] I'm willing to submit a PR!

[Yimi81]

以Dynamic-NTK的方式外推为例,你可以在config.json文件中设置"rope_scaling": {"type": "dynamic", "factor": 4.0}, 参考这里的代码：https://github.com/huggingface/transformers/blob/b382a09e28c7e59129246ccdf4b00f2cac4547a4/src/transformers/models/llama/modeling_llama.py#L293。 你还可以通过LEval进行测试

[WCwalker]

以Dynamic-NTK的方式外推为例,你可以在config.json文件中设置"rope_scaling": {"type": "dynamic", "factor": 4.0}, 参考这里的代码：https://github.com/huggingface/transformers/blob/b382a09e28c7e59129246ccdf4b00f2cac4547a4/src/transformers/models/llama/modeling_llama.py#L293。 你还可以通过LEval进行测试

能不能请问一下，这个外推对显存的占用怎么样，有没有数据可以参考一下，感谢

[Yimi81]

这个具体的数据我还真没记录，我用LEval代码测的yi-6b-chat。单卡3090，不外推默认占用是15G，设置ntk_alpha为2或者dyn-ntk都OOM了。LEval的readme有提到<32k用flash-2可以在单卡80G上运行

[zhengshuo1]

以Dynamic-NTK的方式外推为例,你可以在config.json文件中设置"rope_scaling": {"type": "dynamic", "factor": 4.0}, 参考这里的代码：https://github.com/huggingface/transformers/blob/b382a09e28c7e59129246ccdf4b00f2cac4547a4/src/transformers/models/llama/modeling_llama.py#L293。 你还可以通过LEval进行测试

您好，我在Yi-VL-34B的config.json里做了类似的修改，看起来没生效，推理时仍提示超过长度，无输出。请问大概是什么原因呢？

[nuoma]

Closed due to inactivity, feel free to reopen for follow-up questions