openspg icon indicating copy to clipboard operation
openspg copied to clipboard

openspg源码新增的名为“oneke”的案例和用户手册中“oneke使用文档”给出的医疗示例不一样,能否提供一个详细的“oneke”案例体验说明

Open MN-LYR opened this issue 1 year ago • 4 comments

MN-LYR avatar May 14 '24 01:05 MN-LYR

oneke案例使用时报错如下: image 执行命令knext builder execute OneKE_EE,OneKE_KG,OneKE_NER后 报错cannot decode config file,请问是什么原因

MN-LYR avatar May 14 '24 01:05 MN-LYR

image "hub_infer_url": "http://127.0.0.1:8000/v2/models/vllm_model/generate"这个服务接口是什么 我在autodl上部署了OneKE模型,我该如何调用该模型的服务

MN-LYR avatar May 14 '24 01:05 MN-LYR

image "hub_infer_url": "http://127.0.0.1:8000/v2/models/vllm_model/generate"这个服务接口是什么 我在autodl上部署了OneKE模型,我该如何调用该模型的服务

这个是一个需要自己部署的大模型的服务,如果你自己的GPU(比如A100, A10)的服务器,可以自己搭建一个类似的服务。 具体可以参考这个文档:https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html

lsy643 avatar May 20 '24 02:05 lsy643

image "hub_infer_url": "http://127.0.0.1:8000/v2/models/vllm_model/generate"这个服务接口是什么 我在autodl上部署了OneKE模型,我该如何调用该模型的服务

这个是一个需要自己部署的大模型的服务,如果你自己的GPU(比如A100, A10)的服务器,可以自己搭建一个类似的服务。 具体可以参考这个文档:https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html

@lsy643 我用4090的显卡部署显示cuda out of memory,24G的显存是不是不够,或者是还有什么其他问题?

MN-LYR avatar May 20 '24 12:05 MN-LYR