林哥你好，我看了你的视频对这个B的兴趣很大，想要把它在我自己本地的Linux服务器上运行玩玩。但目前最大的问题是你使用的开发框架似乎只有mac电脑可以使用，所以希望你可以提供可以在linux运行的方法。

May 13 '24 10:05 zhenaiwork

林哥你好，我看了你的视频对这个B的兴趣很大，想要把它在我自己本地的Linux服务器上运行玩玩。但目前最大的问题是你使用的开发框架似乎只有mac电脑可以使用，所以希望你可以提供可以在linux运行的方法。

你的Linux服务器有高性能GPU吗，感觉这玩意不是随便就能跑的啊

May 13 '24 10:05 LonePheasantWarrior

报错了

# python3 -m mlx_lm.lora --model models/Qwen1.5-32B-Chat --data data/ --train --iters 1000
--batch-size 16 --lora-layers 12
Loading pretrained model
Segmentation fault

May 13 '24 10:05 zhenaiwork

实际证明我的机器接不住这个B友【双路e5+64g ddr4】

Loading pretrained model
Killed

May 13 '24 13:05 zhenaiwork

如何在linux运行这个B

首先把林哥的B 下载到本地并按照林哥的文档安装必要的依赖文件，包括mlx。

 pip install mlx-lm

然后在启动之前你还需要下载32B的模型文件。首先要在项目跟目录下创建models文件夹，在把32B用git clone进去。如果发现clone下来的文件只有 XX MB那说明有问题这里提供第二种下载方式，先安装必要的pip库

pip install modelscope

然后执行python3启动python终端，在python终端中执行下面代码

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen1.5-32B-Chat')

下载完成输入quit()退出python终端然后在~/.cache/modelscope/hub找到下载好的模型文件给它复制到开始创建的models文件夹【注意检查模型文件夹的名称是否为：Qwen1.5-32B-Chat】完成后的文件结构bilibot/models/Qwen1.5-32B-Chat 然后运行林哥文档中的启动命令然后爆内存/显存 [滑稽]

目前在我本地测试32B需要起码64G的内存。

May 13 '24 14:05 zhenaiwork

跑起来了，但是又了新的报错

Loading pretrained model
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Total parameters 32513.791M
Trainable parameters 1.573M
Loading datasets
Training
Starting training..., iters: 1000
terminate called after throwing an instance of 'std::runtime_error'
  what():  [AddMM::eval_cpu] Currently only supports float32.
./t-run.sh: line 1:   215 Aborted                 python3 -m mlx_lm.lora --model models/Qwen1.5-32B-Chat --data data/ --train --iters 1000 --batch-size 16 --lora-layers 12

May 13 '24 14:05 zhenaiwork