sbv2-api icon indicating copy to clipboard operation
sbv2-api copied to clipboard

モデル読み込み上限を設定していた際、Vec<u8> と Session分でメモリをかなり消費することになるので、一時的にファイルに保存したりVec<u8>の代わりにsbv2ファイルへのパスを持つなどして減らせないか

Open aq2r opened this issue 10 months ago • 1 comments

機能追加の説明 モデル読み込み上限を設定していた際、メモリ消費を抑えるために sbv2_core の tts.rs の TTSModel の vits2: Option<Session>, が None になるようになっていますが、 読み込んだときに bytes: Option<Vec>, 分のメモリと session分のメモリでかなり消費するため、例えば sessionを読み込んでいないときに Vec として持っておくのではなく、.sbv2 ファイルへの PathBuf を持ったり、または一時的にファイルにbytesを保存しておくなどしてメモリ消費量を抑えられないか

メリット メモリ消費量を抑えられる

デメリット PathBufを持つようにした際はTTSModelHandlerでloadしようとした際に Vec などから読み込めなくなる 一時的にファイルに保存する場合はその周りが煩雑になる?

aq2r avatar Jan 26 '25 14:01 aq2r

ブラウザやno_std環境への対応も考えるとパスへのオフロードはできないため、新規でアンロード関数を追加するのが良さそう?

googlefan256 avatar Feb 23 '25 08:02 googlefan256