tuna2134
Python版のcuda対応に関すること
機能追加の説明 GPUとかで動かしたいって方がいるので、その対応としてdynamicを提案する
メリット dynamicにすることでcuda以外でも使える
デメリット ユーザーの負担が増える
すみません失礼します GPUで、もしonnx cudaのstyle ber vits2音声合成をしたら、GPUメモリは.safetensorの音声合成に比べて必要なGPUメモリはどれくらい節約できるとおもいますか？ onnx gpuのメモリ節約効果について
実際に計測しないことにはわかりませんが、動的にslotを読み込んだりアンロードする負荷は間違いなく低いため、slotの読み込み上限を付けることで結果的に複数モデル扱うときのVRAM節約をすることはできるはずです。
そこらへんの実装をすることにしました(python版ではなくdocker版に) 同時にGPUに読み込むモデルに上限を付けることでメモリを節約できる機能です。 公式版と比べてGPUとCPU間の転送コストが低いため、高速に行えるはずです。
そこらへんの実装をすることにしました(python版ではなくdocker版に) 同時にGPUに読み込むモデルに上限を付けることでメモリを節約できる機能です。 公式版と比べてGPUとCPU間の転送コストが低いため、高速に行えるはずです。
python版にも実装できそうです