binary-husky

Results 331 comments of binary-husky
trafficstars

不能复现,另外traceback没有显示

我估计和函数插件的热加载有关

> 我也是这样。我在一台AMD集成显卡的笔记本上部署,chatgpt正常加载,但是模型切换到ChatGLM会出错,config.py中设置的是cpu,但是出错说是找不到 nvcuda.dll 不太清楚,有可能只能用NVIDIA的卡

@knight134 @csw630 @xy317272 @Moximixi @leomsn 用这段代码测试一下环境的问题 ``` from transformers import AutoModel, AutoTokenizer chatglm_tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) device = 'cpu' if device=='cpu': chatglm_model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float() else: chatglm_model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()...

> > > 我也是这样。我在一台AMD集成显卡的笔记本上部署,chatgpt正常加载,但是模型切换到ChatGLM会出错,config.py中设置的是cpu,但是出错说是找不到 nvcuda.dll > > > > > > 不太清楚,有可能只能用NVIDIA的卡 > > 是不是chatglm这个模型即使设置使用cpu,相应的库和硬件也需要有对应的GPU。就是指没有CPU版本的? 有没有traceback?

> RuntimeError: Unknown platform: darwin https://github.com/THUDM/ChatGLM-6B/issues/635

> brary/base.py", line 59, in **init** raise RuntimeError("Unknown platform: %s" % sys.platform) RuntimeError: Unknown platform: darwin > > During handling of the above exception, another exception occurred: > > Traceback...

![image](https://user-images.githubusercontent.com/96192199/233628292-6e174bd9-24c7-476b-a788-d91cb143deb8.png)

> @knight134 @csw630 @xy317272 @Moximixi @leomsn > > 用这段代码测试一下环境的问题 > > ``` > from transformers import AutoModel, AutoTokenizer > > chatglm_tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) > device = 'cpu' > if...