[Bug]: GTX 1650 slower than a GTX 1050 TI (Performance Problems)
Is there an existing issue for this?
- [X] I have searched the existing issues and checked the recent builds/commits
What happened?
When using my GTX 1050 Ti for stable diffusion i get around 1.56s/it. The exact Model: https://www.techpowerup.com/gpu-specs/kfa2-gtx-1050-ti-oc.b3937 After switching to an GTX 1650 I only get around 2.8-3.2s/it. The exact model: https://www.gigabyte.com/uk/Graphics-Card/GV-N1650OC-4GD#kf My suspicion is that the gddr6 model is not supported properly, because it is not even in the TechPowerUps Database. And that lag of support lets it run in a compatibility Layer which Leads to Performance loss.
Steps to reproduce the problem
Just using the stable diffusion web ui for generating an image, it doesn't matter if you use different models or even the same prompt on both GPUs
What should have happened?
In other Benchmarks the 1650 is from 50% to 100% faster than the 1050 Ti so this should also be the case for stable diffusion, but instead the 1650 is only half of the performance
Commit where the problem happens
commit: a9fed7c3
What platforms do you use to access the UI ?
Windows
What browsers do you use to access the UI ?
Microsoft Edge
Command Line Arguments
No
List of extensions
No
Console logs
For the GTX 1050 Ti:
venv "C:\stable-diffusion\stable-diffusion-webui\venv\Scripts\Python.exe"
Python 3.10.7 (tags/v3.10.7:6cc6b13, Sep 5 2022, 14:08:36) [MSC v.1933 64 bit (AMD64)]
Commit hash: a9fed7c364061ae6efb37f797b6b522cb3cf7aa2
Installing requirements for Web UI
Launching Web UI with arguments:
No module 'xformers'. Proceeding without it.
Loading weights [fe4efff1e1] from C:\stable-diffusion\stable-diffusion-webui\models\Stable-diffusion\pn-model.ckpt
Creating model from config: C:\stable-diffusion\stable-diffusion-webui\configs\v1-inference.yaml
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
Applying cross attention optimization (Doggettx).
Textual inversion embeddings loaded(0):
Model loaded in 12.6s (load weights from disk: 6.5s, create model: 0.5s, apply weights to model: 1.0s, apply half(): 1.1s, move model to device: 0.9s, load textual inversion embeddings: 2.5s).
Running on local URL: http://127.0.0.1:7860
To create a public link, set `share=True` in `launch()`.
Startup time: 24.5s (import gradio: 4.1s, import ldm: 1.7s, other imports: 3.3s, setup codeformer: 0.1s, load scripts: 1.3s, load SD checkpoint: 12.9s, create ui: 0.8s, gradio launch: 0.2s).
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:32<00:00, 1.62s/it]
Total progress: 100%|██████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.52s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.52s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.52s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.54s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.54s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:33<00:00, 1.66s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:31<00:00, 1.55s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:32<00:00, 1.62s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.52s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.51s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:30<00:00, 1.53s/it]
Total progress: 100%|████████████████████████████████████████████████████████████████| 200/200 [05:26<00:00, 1.63s/it]
Total progress: 100%|████████████████████████████████████████████████████████████████| 200/200 [05:26<00:00, 1.51s/it]
With the GTX 1650:
venv "C:\stable-diffusion\stable-diffusion-webui\venv\Scripts\Python.exe"
Python 3.10.7 (tags/v3.10.7:6cc6b13, Sep 5 2022, 14:08:36) [MSC v.1933 64 bit (AMD64)]
Commit hash: a9fed7c364061ae6efb37f797b6b522cb3cf7aa2
Installing requirements for Web UI
Launching Web UI with arguments:
No module 'xformers'. Proceeding without it.
Loading weights [fe4efff1e1] from C:\stable-diffusion\stable-diffusion-webui\models\Stable-diffusion\pn-model.ckpt
Creating model from config: C:\stable-diffusion\stable-diffusion-webui\configs\v1-inference.yaml
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
Applying cross attention optimization (Doggettx).
Textual inversion embeddings loaded(0):
Model loaded in 15.7s (load weights from disk: 9.4s, create model: 0.7s, apply weights to model: 1.0s, apply half(): 1.3s, move model to device: 0.9s, load textual inversion embeddings: 2.5s).
Running on local URL: http://127.0.0.1:7860
To create a public link, set `share=True` in `launch()`.
Startup time: 34.1s (import gradio: 6.2s, import ldm: 2.8s, other imports: 5.6s, setup codeformer: 0.2s, load scripts: 1.8s, load SD checkpoint: 15.9s, create ui: 1.2s, gradio launch: 0.2s).
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:59<00:00, 2.99s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:55<00:00, 2.80s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:56<00:00, 2.81s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:56<00:00, 2.82s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:56<00:00, 2.81s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:56<00:00, 2.82s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:56<00:00, 2.83s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:58<00:00, 2.94s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:59<00:00, 2.96s/it]
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [01:00<00:00, 3.00s/it]
Total progress: 100%|████████████████████████████████████████████████████████████████| 200/200 [09:48<00:00, 2.94s/it]
Additional information
Maybe there is a need for new GPU drivers
My suspicion is that the gddr6 model is not supported properly, because it is not even in the TechPowerUps Database.
https://www.techpowerup.com/gpu-specs/geforce-gtx-1650-gddr6.c3541
I think this would be better to discuss on tech forums.