ipex-llm
ipex-llm copied to clipboard
[Windows] Qwen1.5-7B 8K支持
Qwen1.5-7B 8K输入下会OOM ,当修改qwen1.5\Lib\site-packages\transformers\models\qwen2\modeling_qwen2.py #logits = logits.float() 可以运行,但是memory降低很多,是否对模型其他方面有影响。 是否能优化这个模型的整体memory消耗.