shguan2018

flask部署 多标签分类模型，单GPU单进程正常，多进程报错

7

flask部署 多标签分类模型，单GPU单进程正常，多进程报错 python3.8.12 paddlepaddle 2.2 paddlenlp 2.2.4 self.input_handles[0].copy_from_cpu(input_ids) File "/usr/local/python3/lib/python3.8/site-packages/paddle/fluid/inference/wrapper.py", line 35, in tensor_copy_from_cpu self.copy_from_cpu_bind(data) OSError: (External) CUDA error(3), initialization error. [Hint: 'cudaErrorInitializationError'. The API call failed because the CUDA...

我觉得使用 SentenceTransformer 作为句子向量化不好

1

我觉得使用 SentenceTransformer 作为句子向量化不好,dimension 高达 512,句子向量化存储到 annoy 里导致空间特别大

文本长度不能超过511

1

1. 使用 simcse 进行训练 2. 将模型用 paddle serving 进行布置 (CPU 方式) 3. 如果传入的文本长度> 511,则 报错 4. 如果用 GPU 方式布置 paddle serving, 传入的文本长度 > 511,则 不报错. ![Uploading QQ图片20220823140243.png…]()

挺你，替换到 notepad++