Model WhisperForConditionalGeneration is not supported

[raphael10-collab]

Objective: convert https://huggingface.co/primeline/whisper-large-v3-german model to gguf in order to be able to use it with whisper.cpp

Downloaded safetensors model :

(.venv) raphy@raohy:~/whisper.cpp/models$ python3 download-whisper-germanlarge.py
/home/raphy/whisper.cpp/models/.venv/lib/python3.12/site-packages/huggingface_hub/file_download.py:832: UserWarning: `local_dir_use_symlinks` parameter is deprecated and will be ignored. The process to download files to a local folder has been updated and do not rely on symlinks anymore. You only need to pass a destination folder as`local_dir`.
For more details, check out https://huggingface.co/docs/huggingface_hub/main/en/guides/download#download-files-to-local-folder.
  warnings.warn(
config.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.27k/1.27k [00:00<00:00, 6.30MB/s]
generation_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3.90k/3.90k [00:00<00:00, 20.6MB/s]
preprocessor_config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 340/340 [00:00<00:00, 4.35MB/s]
.gitattributes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.52k/1.52k [00:00<00:00, 9.54MB/s]
special_tokens_map.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.19k/2.19k [00:00<00:00, 12.6MB/s]
added_tokens.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 34.6k/34.6k [00:00<00:00, 61.7MB/s]
README.md: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.30k/4.30k [00:00<00:00, 39.5MB/s]
merges.txt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 494k/494k [00:00<00:00, 1.96MB/s]
tokenizer_config.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 283k/283k [00:00<00:00, 1.43MB/s]
vocab.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.04M/1.04M [00:00<00:00, 5.13MB/s]
tokenizer.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.48M/2.48M [00:00<00:00, 4.94MB/s]
model.safetensors: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3.09G/3.09G [01:12<00:00, 42.5MB/s]
Fetching 12 files: 100%|███████████████████████████████

And tried to convert it to gguf model :

(.venv) raphy@raohy:~/whisper.cpp/models/w-germanlarge$ python3 ../llama.cpp/convert_hf_to_gguf.py . --outfile w-germalarge.gguf --outtype f16
INFO:hf-to-gguf:Loading model:
ERROR:hf-to-gguf:Model WhisperForConditionalGeneration is not supported

How to make it work?

[StefanNa3Shape]

Did you find a work around?

[weldpua2008]

Did you find a work around?

[andrenatal]

~~I'm facing the same issue~~

I generated a gguf from my fine tuned whisper model using this command from candlle:

https://github.com/huggingface/candle/issues/574#issuecomment-1747672828

[jhsiao1948]

While running "sh ./reference_mlperf_accuracy.sh" got this warning: WARNING 09-15 23:53:29 [arg_utils.py:1770] ['WhisperForConditionalGeneration'] is not supported by the V1 Engine. Falling back to V0.