就是个微调搞那么大模型有啥必要

[eswulei]

还只能m系列能跑

[Bruce-zxy]

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

[Bruce-zxy]

我估计想要跑至少要64G内存

[kelvinji2009]

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

本来还准备尝试跑一下，现在放弃了。。。

[mxr612]

不如qwen0.5b硬调

[jiuqianyuan]

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

你这么一说 ，我24G内存就不折腾了

[RoversX]

Ollama 装个 llama3 8b 改下system prompt就差不多了，我觉得微调都太大没必要

[new4u]

确实有点发费周章,不过QLoRA还是可以搞一下的,毕竟还是更finetune

[csjacsj]

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

我和你一样的配置，在跑，跑了一个迭代显示： Starting training..., iters: 1000 Iter 1: Val loss 9.112, Val took 5987.109s

我计算了一下，按这速度一直跑，跑完需要2个多月。。。

[csjacsj]

我M1 Pro满血版带32G内存已经爆了，跑不了。。。

我和你一样的配置，在跑，跑了一个迭代显示： Starting training..., iters: 1000 Iter 1: Val loss 9.112, Val took 5987.109s

我计算了一下，按这速度一直跑，跑完需要2个多月。。。

Iter 10: Train loss 9.735, Learning Rate 1.000e-05, It/sec 0.004, Tokens/sec 5.596, Trained Tokens 12868, Peak mem 81.864 GB zsh: killed python -m mlx_lm.lora --model models/Qwen1.5-32B-Chat --data data/ --train