LLLYF

> > > 补充：之前对于异步编程和并发处理的认知有一些错误。如果仅仅是希望使用 api 接受并发请求，应该不涉及到多线程的一些问题。 > > > > > > 您好，请问您有尝试其他提升并发的方案吗？ > > 仅尝试了开线程测试和并发请求 api。感觉并发问题还是比较多，速度也很瓶颈。开多个进程会好一些，但是显存资源占用也会更高。 您好，请问在v100中并发调用虽然慢但是正常运行，但是在多卡机器上开并发调用就会出现和您报错一样的问题，现在这个问题您解决了吗？能否提供一些解决思路呢？

> > 您好，请问在v100中并发调用虽然慢但是正常运行，但是在多卡机器上开并发调用就会出现和您报错一样的问题，现在这个问题您解决了吗？能否提供一些解决思路呢？ > > 我没有在多卡机器上尝试。不过既然都使用多卡机器了，可以考虑开多个进程，每个进程指定不同的显卡。在 cpu 够用的情况下应该不会冲突报错。 感谢您的回复，这确实是预期的处理方法，但是目前在多卡机器上指定单卡去运行服务，并发调用也会报错==/ 所以就暂时卡在如何解决这个问题了

Sry to bother you ! Could you please tell me what kind of type of "image" ? When I tried to upscale the picture by extra-single-image API but the terminal...

> i find these finetune repo must use linux os . really?I try it for two days, but I still unable to solve some errors like: RuntimeError: CUDA Setup failed...

That's what I am looking for too!

> 另外，如果其他人正在搜索有关此的信息并最终到达这里，这里有一个最终对我有用的有效载荷： > > ```python > url = "http://localhost:7860/sdapi/v1/img2img" > body = { > "resize_mode": 0, > "sampler_index": "Euler", > "sampler_name": "Euler", > "steps": 20, > "width": 912, > "height":...

> > > 尝试使用这个（建议使用git lfs克隆所有文件），我用这个可以输出模型 https://huggingface.co/huggyllama/llama-13b/tree/main > > > > > > 我需要将其转换为 hf 格式吗？还是我应该直接将其与骆马重量结合使用？真的谢谢你的回答~ > > 直接使用“fastchat.model.apply_delta”组合“骆马”和“三角洲” 很抱歉打扰您，想向您请教一下您的模型组合流程是否是通过git lfs直接克隆您所提供地址的内容，完成之后就接着执行组合代码呢？这样就无需再去找原始权重了是吗？

> > > > 尝试使用这个（建议使用git lfs克隆所有文件），我用这个可以输出模型 https://huggingface.co/huggyllama/llama-13b/tree/main > > > > > > > > > 我需要将其转换为 hf 格式吗？还是我应该直接将其与骆马重量结合使用？真的谢谢你的回答~ > > > > > > 直接使用“fastchat.model.apply_delta”组合“骆马”和“三角洲” > > 很抱歉打扰您，想向您请教一下您的模型组合流程是否是通过git lfs直接克隆您所提供地址的内容，完成之后就接着执行组合代码呢？这样就无需再去找原始权重了是吗？...

> Thanks for your reply, I just uninstall and reinstall the "bitsandbytes", but there is other problem come : RuntimeError: CUDA Setup failed despite GPU being available. I try to...

> So it looks like you're having trouble with the "bitsandbytes" software after uninstalling and reinstalling it. Specifically, you're seeing an error message that says "CUDA Setup failed despite GPU...