PP-ChatOCRv4 怎么调用本地部署的大模型

[LvZhenChang]

trafficstars

请问，PP-ChatOCRv4 怎么调用本地部署的大模型，有没有demo或者说明文档？

现在的文档上只有 「如果使用本地部署的大模型服务，可以参考PaddleNLP大模型部署文档进行大模型部署对话接口部署和向量化接口部署，并填写对应的 base_url 和 api_key 即可」 这句话，我看了下，没太明白怎么调用。

[changdazhou]

PP-ChatOCRv4底层使用的是标准的OpenAI接口，您可以使用openai的SDK来debug一下本地部署代码是否正常，如果正常，则传入openai的base_url和api_key填入PP-ChatOCRv4配置即可。例如本地部署IP为0.0.0.0，端口为1234，则base_url通常为“http://0.0.0.0:1234/v1”，本地部署api_key设置任意值均可

[TingquanGao]

The issue has no response for a long time and will be closed. You can reopen or new another issue if are still confused.

---

From Bot