bigbigtooth

在MacOS，用python调用qwen_cpp载入模型进行推理，只能启动CPU，无法使用GPU。

1

在MacOS，用python调用qwen_cpp载入模型进行推理，只能启动CPU，无法使用GPU。 执行代码： from qwen_cpp import Pipeline model = "/Users/xxx/AIproject/qwen.cpp/qwen14b-ggml.bin" tiktoken = "/Users/xxx/AIproject/models/Qwen/Qwen-14B-Chat/qwen.tiktoken" pipeline = Pipeline(model, tiktoken) pipeline.chat([sentence]) 请问如何使用python推理时使用GPU推理？ 我用命令行的方式推理是可以使用GPU推理的，速度很快。 我的电脑配置是：Macbook Pro M3 Max 64G macOS 版本：14.1.2 (23B2091)

"pip install simpleaudio" works for me on win11