ATP-BME

> Qwen1.5-14B-Chat-GPTQ-Int4 实测：transformers==4.38.2 auto-gptq=0.6.0 速度没问题 我也遇到相同的问题，原来的auto-gptq版本为0.7.0，降级为0.6.0后问题解决

我也遇到了这个问题，paddlepaddle-gpu 2.6.0 paddleocr 2.7.0 cuda117 cudnn 8.9.7

我也遇到了相同的问题 & D:/apps/miniconda3/envs/GNN/python.exe predict_system.py --image_dir='F:/LM/知识注入/rescale/42.药理学 第九版 杨宝峰 2018年（重制快搜版）_部分2.pdf' --det_model_dir=inference/ch_PP-OCRv4_det_infer --rec_model_dir=inference/ch_PP-OCRv4_rec_infer --rec_char_dict_path="../ppocr/utils/ppocr_keys_v1.txt" --table_model_dir=inference/ch_ppstructure_mobile_v2.0_SLANet_infer --table_char_dict_path=../ppocr/utils/dict/table_structure_dict.txt --layout_model_dir=inference/picodet_lcnet_x1_0_fgd_layout_cdla_infer --layout_dict_path="../ppocr/utils/dict/layout_dict/layout_cdla_dict.txt" --vis_font_path=../doc/fonts/simfang.ttf --recovery=True --output=../output/ 

mark

推测是PDF转image时的缩放系数导致图片分辨率过低的问题，修改ppcor.utils.utility.py 第109行开始： elif os.path.basename(img_path)[-3:].lower() == 'pdf': import fitz from PIL import Image, ImageFilter imgs = [] with fitz.open(img_path) as pdf: for pg in range(0, pdf.page_count): page = pdf[pg] ## 提高PDF转换为图片时的分辨率，您可以通过调整fitz.Matrix中的缩放因子来实现。目前，代码中的缩放因子设置为2，这意味着图片的分辨率将是PDF的两倍。...

您好，请问您知道怎么做到多卡推理吗？我有8张10G显存的显卡，但是在加载模型的时候会在第一张卡上报错CUDA out of memory，为什么第一张卡会明显占用更多呢

> 您好，请问您知道怎么做到多卡推理吗？我有8张10G显存的显卡，但是在加载模型的时候会在第一张卡上报错CUDA out of memory，为什么第一张卡会明显占用更多呢 我参考ChatGLM-6B的文档解决了这个问题“https://github.com/THUDM/ChatGLM-6B#%E5%A4%9A%E5%8D%A1%E9%83%A8%E7%BD%B2”

cy

我也遇到的同样的问题，template不一样似乎对导致模型对一些问题输出乱码以及输出难以停止

> > > > > > 已解决 > > > > > > > > > > > > > > > 空白单元格标注了并且排好了序，遇到了同样的问题，请问是怎么解决的呢？ > > > > > > >...