Apple M系列 docker 运行出错

[lslzl3000]

参考 https://soulteary.com/2023/07/23/build-llama2-chinese-large-model-that-can-run-on-cpu.html 使用 Apple M2, 用最后的 docker soulteary/llama2:runtime 运行 Chinese-Llama-2-7b-ggml-q4.bin

main: build = 0 (unknown)
main: seed  = 1690425690
qemu: uncaught target signal 4 (Illegal instruction) - core dumped
Illegal instruction

是不支持 m2? 需要基于 arm 架构重新构建一个 docker 镜像?

[soulteary]

嗯，我正在写 M1/M2 的文章 & 准备一键包。

在使用标准化容器的路上，M1/M2 有非常多 trick 需要规避，原始路径不通的，性能比较值得期待的 MPS ，暂时也有问题，不过影响你贴的文章使用的路径。 @lslzl3000

[xyz-dev]

有Mac Intel cpu 运行Chinese-Llama-2-7b-ggml-q4.bin webui docker吗？

[soulteary]

有Mac Intel cpu 运行Chinese-Llama-2-7b-ggml-q4.bin webui docker吗？

intel 和 arm 镜像是兼容的，但是基本没法用，使用 intel 顶配 CPU 运行，目前效率极差...实在想 mac intel cpu 设备体验，试试 baby llama 或靠谱一些，走云服务..

[littleyanglovegithub]

遇到了同样的问题，请问有解决方案了么？🙏