ooe1123

同じ文章が繰り返される症状と、入力ファイルの長さは関係がないようです。 サンプルコードのaudio_utils.pyにて、 flg_ffmpeg = True と設定を変えると、（オリジナルwhisperと同じ音声ファイル読み込み方法） 02:27.660～の同じ文章が繰り返される症状は解消しました。 （ただし、04:55.180～から同様に同じ文章が繰り返される症状が発生します） whisperの処理は、 ① wavファイルの読み込み (ffmpegからlibrosaに変更) ② log_mel_spectrogramの処理 (torchからlibrosaに変更) ③ melからaudio_featuresに変換 (torchからonnxに変更) ④ audio_featuresからlogitsを取得 (torchからonnxに変更) ⑤ logitsからtokenにデコード処理 このような流れになっていますが、 ailiaのサンプルコードを実装するときには ③、④のDNNのところでオリジナルと比較すると多少の誤差が出ていて、 また、①と②ではかなりの違いが出ていました。 しかし、最終的に適切にみえる結果が出ているようだったので、これらの誤差を許容していました。 処理の過程でこれらの誤差が積み重なった結果、致命的に間違った出力となってしまうことがあるのではないかと思います。

ailiaのサンプルコードで、large-v3モデルで flg_ffmpeg = True とした場合、 04:55.180~から同じ文章が繰り返される症状が発生していて、 ``` [04:54.280 --> 04:54.680] And if you look at the Foundation's governance, you'll see there are some of the same things. [04:54.680 --> 04:55.180]...

### Falconモデルのエクスポート optimum-cliでエクスポート可能ではあるが、 ``` optimum-cli export onnx --model tiiuae/falcon-7b onnx ``` transformersのモデルとtiiuae/falcon-7bのFalconモデルは異なるので、 transformers/models/falcon/modeling_falcon.pyをtiiuae/falcon-7bのモデルで上書きして optimum-cliを実行する。 そのままエクスポートすると モデルロード時に torch.trilu の箇所でエラーがでるため、 以下を修正する。 〇 modeling_falcon.py ``` def _make_causal_mask( input_ids_shape: torch.Size, device: torch.device, past_key_values_length: int...

args.strategy = 'cpu bf16' と指定することで、32GBメモリで起動することができた。

onnxエクスポート 〇 v2/chat.py ``` os.environ["RWKV_JIT_ON"] = '1' # '1' or '0', please use torch 1.13+ and benchmark speed ``` ↓ ``` os.environ["RWKV_JIT_ON"] = '0' # '1' or '0', please use...

convert_attribute=Trueで、ExternalDataでモデルを出力することができた。 ``` onnx.save_model( net, "RWKV-4-Raven-14B-v12.onnx", save_as_external_data=True, all_tensors_to_one_file=True, location="RWKV-4-Raven-14B-v12_weights.pb", convert_attribute=True, ) ```

weight_diff.py を動作させるために、CPUモードで64GB程度のメモリが必要

モデルの復元のために必要なオリジナルのllamaモデルを取得するために、申請が許可される必要がある。 https://huggingface.co/docs/transformers/main/model_doc/llama#usage-tips Weights for the LLaMA models can be obtained from by filling out [this form](https://docs.google.com/forms/d/e/1FAIpQLSfqNECQnMkycAp2jP4Z9TFX0cGR4uf7b_fBxjY_OjhJILlKGA/viewform?usp=send_form) オリジナルのllamaモデルを取得できても、適切にモデルを復元できていない可能性がある？ 以下のissue参照 ``` https://github.com/tatsu-lab/stanford_alpaca/issues/256 ```

こちら https://github.com/juncongmoo/pyllama ``` python -m llama.download --model_size 7B ``` からダウンロードしたモデルを使い、weight_diff.py でモデルを作成すること自体はできる。 当然かもしれないが、check_integrity_naivelyのチェックを通らなかった。 しかし、それらしい結果を得ることができている。 ``` Input: Below is an instruction that describes a task. Write a response that appropriately completes the...

weight_diff.py で作成したモデルを optimum-cliでエクスポートできそうであったが、64GBでもメモリエラーが発生する。 ``` optimum-cli export onnx --model --task text-generation-with-past output_dir ```