ipex-llm icon indicating copy to clipboard operation
ipex-llm copied to clipboard

[Windows] Qwen1.5-7B 8K支持

Open juan-OY opened this issue 1 month ago • 4 comments

Qwen1.5-7B 8K输入下会OOM ,当修改qwen1.5\Lib\site-packages\transformers\models\qwen2\modeling_qwen2.py #logits = logits.float() 可以运行,但是memory降低很多,是否对模型其他方面有影响。 是否能优化这个模型的整体memory消耗.

juan-OY avatar Jun 06 '24 12:06 juan-OY