RepBelief 如何配置多卡运行

如何配置多卡运行

Open Darknessrky opened this issue 1 year ago • 1 comments

使用Extract Representations部分的命令：

sh scripts/save_reps.sh 0_forward belief
sh scripts/save_reps.sh 0_forward action
sh scripts/save_reps.sh 0_backward belief

Mistral-7B-Instruct-v0.2和deepseek-llm-7b-chat在显存24G的单张3090上放不下，如何配置可以在多卡加载模型

Jul 08 '24 03:07 Darknessrky

Hi, 可以看看https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2 这里的讨论或者用CPU运行。

Jul 08 '24 09:07 Walter0807

Closing this issue due to inactivity. Feel free to reopen if needed.

Dec 08 '24 07:12 Walter0807