ZXStudio
ZXStudio
I also have the same problem
> 这个问题其实是因为模型计算的结果有NaN，但是这个问题可能跟硬件有关，我没法复现。 能提供一下你的操作系统、GPU型号、CUDA版本和PyTorch版本吗 同样的问题，这是我的信息。 - OS:windwos server 2019 - Python:Python3.10 - Transformers:4.27.1 - PyTorch:2.0.0+cu118 - CUDA: 12.1 - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :True
> > > 这个问题其实是因为模型计算的结果有NaN，但是这个问题可能跟硬件有关，我没法复现。 能提供一下你的操作系统、GPU型号、CUDA版本和PyTorch版本吗 > > > > > > 同样的问题，这是我的信息。 > > > > * OS:windwos server 2019 > > * Python:Python3.10 > > * Transformers:4.27.1 > >...
> > > nan，但是有有计算模型因为计算计算的结果结果结果跟跟跟硬件跟硬件跟硬件硬件跟跟硬件跟，我我可能可能可能有结果结果结果结果结果结果有有有有有有有结果结果结果结果结果结果结果结果 > > > > > > 同样的问题，这是我的信息。 > > > > * 操作系统：windwos server 2019 > > * Python：Python3.10 > > * 变形金刚：4.27.1 > > *...
我也有这个问题，不是web的方式，就是cli_demo.py方式
> 如果没有报错。看起来就是卡住了的样子。那么，百分之九十五是cpu模式吧。应该为太慢了。睡一觉起来，就有恢复了。。。。 torch.cuda.is_available()输出的是true，是GPU模式
> @ZXStudio 回复消息字符串变量response没有任何内容？ 在远程服务器上运行了，你怎么去执行的？？ > > 试试 服务器用 api.py 然后 本地 http 接口访问服务器。http超时设置100分钟,如果服务器慢的话。 我是远程桌面连到腾讯云GPU服务器，然后运行cli_demo.py，不是Web方式，也不是API调用方式。
> 我修改后用的这个cpu 可以的。 > > api_v1.1.py # cpu 32G > > ```python > from fastapi import FastAPI, Request > from transformers import AutoTokenizer, AutoModel > import uvicorn, json, datetime >...
你说的没有跑起来是指运行没报错，但是没有回复吗？