olmocr
olmocr copied to clipboard
olmOCR 在 macOS M2 环境下模型服务无法正常启动(502 错误)
🐛 Describe the bug
描述: Gateway 错误。日志中显示多次 HTTP GET 请求均返回 502,导致整个处理流程无法继续。经过检查,问题可能与 sglang 模型推理服务在 macOS M2(无 CUDA,依赖 MPS)环境下的兼容性有关,项目的 GPU 检查和服务初始化似乎仍假定存在 NVIDIA GPU。 重现步骤 1. 在 macOS M2(Apple Silicon)环境下,按照 README 指南安装 olmOCR 及其依赖(包括 poppler、sglang、gradio 等)。 2. 使用如下命令运行 pipeline(确保 PDF 文件存在且包含可提取文本): python -m olmocr.pipeline ./workspace --pdfs "/Users/renzhiqiang/Downloads/1.pdf" 3. 观察终端日志,程序启动后不断尝试访问 http://localhost:30024/v1/models 并返回 502 错误,最终导致 pipeline 终止。
Versions
预期行为 • 在 macOS M2 环境下,如果检测到 MPS 后端,项目应绕过对 CUDA GPU 的严格要求,并能成功启动模型服务或在只进行文本提取的情况下跳过推理服务。 • 或者,如果仅需要文本提取功能,能提供一个选项以禁用模型推理服务,避免出现 502 错误。