EthanD4869

Results 2 issues of EthanD4869

Qwen1.5-chat 72B int4 4卡(V100) 推理过程中token数到10k会报错OOM

1 comment

![image](https://github.com/xorbitsai/inference/assets/115398481/f5b61aee-a1ff-410f-949c-2c6c60415d19) ![image](https://github.com/xorbitsai/inference/assets/115398481/2b53d367-2a50-462f-8287-be220b71013c)

question

demo.py中如何像magic-pdf pdf-command [OPTIONS]中支持ocr、txt、auto的模式选择

1 comment

--method [ocr|txt|auto] 指定解析方法。txt: 文本型 pdf 解析方法， ocr: 光学识别解析 pdf, auto: 程序智能选择解析方法

enhancement