莫小苝
> cuda_stream 还有下面的这个错误 ``` F20240408 20:02:20.552623 1965 fused_matmul_bias_kernel.cu:84] Check failed: cublasLtMatmul( cuda_stream->cublas_lt_handle(), matmul_cache->operation_desc, &sp_alpha, weight->dptr(), matmul_cache->cublas_a_desc, x->dptr(), matmul_cache->cublas_b_desc, &sp_beta, (_add_to_output == nullptr) ? y_ptr : _add_to_output->dptr(), matmul_cache->cublas_c_desc, y_ptr, matmul_cache->cublas_c_desc, &matmul_cache->cublas_algo,...
> 你这个问题是不是显存不足引起的，你跑的时候可以监控一下显存占用。另外请问一下你跑的是什么模型，是svd吗 两个问题都是显存不足吗？ 不是 svd 就是 sdxl。我观察到，使用 onediff 进行加速的时候，使用的显存占用量会多很多，这个有什么解决方案吗？我的 A10 只有 24g 显存
> > > 你这个问题是不是显存不足引起的，你跑的时候可以监控一下显存占用。另外请问一下你跑的是什么模型，是svd吗 > > > > > > 两个问题都是显存不足吗？ > > 不是 svd 就是 sdxl。我观察到，使用 onediff 进行加速的时候，使用的显存占用量会多很多，这个有什么解决方案吗？我的 A10 只有 24g 显存 > > 首先你可以先尝试把vae的编译加速关掉，另外请问一下你使用的分辨率是多大的，如果不用onediff加速的时候正常的显存占用是多少？ 把 vae 关掉，不设置 ONEFLOW_CONV_ALLOW_HALF_PRECISION_ACCUMULATION...
已经申请加入，多谢 Zoe ***@***.***>于2023年5月8日 周一09:58写道： > 正在整理中，近期会上传。可以加入开源交流群 > ，方便获取最新信息（加好友请备注 > AltDiffusion) > > — > Reply to this email directly, view it on GitHub > , > or unsubscribe > >...
> @ariannaliu I made it public! Also, I made it easy to do with colab If you liked it, please star⭐️⭐️⭐️⭐️ 404 +1
> Hi, have you solve this problem?
> 执行时观察下 gpu 显存占用看看，可能是 OOM 了。 观察到使用 onediff 后显存占用确实变多了。这个有什么优化的办法吗？
> > > 执行时观察下 gpu 显存占用看看，可能是 OOM 了。 > > > > > > 观察到使用 onediff 后显存占用确实变多了。这个有什么优化的办法吗？ > > 可以参考这里： [#605 (comment)](https://github.com/siliconflow/onediff/issues/605#issuecomment-1980574638) > > 是因为线程池没有共享带来的，当前这个版本还没很好处理方法。我们计划在下个大版本解决下这个问题，不过需要点时间。 ok，那我等下个新的版本吧。多谢了。
> Yeah, i have the same issue unfortunately. how to solve it