Accchenn
Results
2
comments of
Accchenn
您好，请教一下310p部署internvl3-8b的速度和显存大概是多少呢？我这边测试的速度不是很理想。
使用的两卡部署，通过http接口请求，整体时间超过1min， 从日志输出从开始到结束一共用时超过20s。 curl -X POST http://127.0.0.1:23333/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer YOUR_API_KEY" -d '{ "model": "InternVL3-8B", "messages": [{ "role": "user", "content": [ { "type": "text", "text": "Describe the image...