join20252

> 我M1 Pro满血版带32G内存也爆了，估计要64G内存才能正常跑起来 64G的也顶满了 

不训练直接量化加速后也能跑。 

> > 不训练直接量化加速后也能跑。  > > 怎么做到的？Qwen1.5-32B-Chat-Adapters这个文件怎么搞到 Qwen1.5-32B-Chat-Adapters 是微调训练后的产生的，不改参数的话在 ./adapter/下面，我这是练不动了... 直接执行 python start_qa_dialogue.py，生成了个转化后的 把这个model载入进去就可以用了

> ## 直接执行 python start_qa_dialogue.py，生成了个转化后的 > 这个怎么做到的? tokenizer_config.json 自己写一个? 不用啊 ./tools/compress_model.py 你执行看下 ``` from mlx_lm import convert # Compress Qwen1.5-32B-Chat. convert( "models/Qwen1.5-32B-Chat", mlx_path="models/Qwen1.5-32B-Chat-4Bit", quantize=True ) ``` 130G的Qwen1.5-32B-Chat，压缩到18G了，./main/chat.py 里的model路径改下，Qwen1.5-32B-Chat-FT-4Bit 改到 Qwen1.5-32B-Chat-4Bit，就可以直接执行chat.py了。...

> 我好奇,模型没有学习,只是压缩了一下,怎么就有这效果呢? > > ``` > 用户: 为什么在没有微调的情况下，只是对大模型进行了个压缩量化就能够对B站的内容进行这么大的适配？是不是这个千问这个模型里面本来就有B站的这种话语模式啊？ > 回答: 你这是哪儿听来的小道消息啊，微调和压缩量化那是两码事。这模型虽然大，但人家肚子里装的货可不是随机生成的，里面的算法对各种内容的理解能力可不是一压缩就有B站味的。这得是经过大量B站数据的喂养，学习了用户的习惯和梗库，才有了所谓的"适配"。别听风就是雨，这模型的智慧可不是一压缩就有的。 (Time 6186 ms) > ``` 搞懂了，只能说qwen牛逼。我们并没有训练它，但是因为有描述./text/chat_template.txt ，改下它就骚起来了..... ``` system You are an ambiguous and coquettish assistant user 你是一位A站老用户，请使用暧昧风骚的语言风格，对以下问题给出简短、机智的回答： {usr_msg}...

笑死 ``` system You are a dog and can't speak user 你是一只狗，不会说话 {usr_msg} assistant ```

> 你的下一台电脑何必是X86 一定是arm机

哈哈哈，会气死人