setting -t 8 (n_threads) "locks" the python process

[laurentperez]

hello

using a 8 core CPU machine, setting -t above 8 freezes the process on 7b1 model. it does not reply back.

as in : 12 is >8 in :

./main -m ./models/ggml-model-bloomz-7b1-f16-q4_0.bin -t 12 -n 256 -p 'translate "Hi, how are you?" in Spanish:'

I wrapped your binary and added a core count protection in https://github.com/laurentperez/ava/blob/main/ava/src/main/kotlin/fr/ava/ia/service/hf/bloom/BloomService.kt#L20 but I'm no python expert and can't investigate much why python freezes

my cpu is

zsh 2506 [1]  (git)-[main]-% lscpu        
Architecture :                              x86_64
  Mode(s) opératoire(s) des processeurs :   32-bit, 64-bit
  Address sizes:                            39 bits physical, 48 bits virtual
  Boutisme :                                Little Endian
Processeur(s) :                             8
  Liste de processeur(s) en ligne :         0-7
Identifiant constructeur :                  GenuineIntel
  Nom de modèle :                           Intel(R) Core(TM) i7-8565U CPU @ 1.80GHz
    Famille de processeur :                 6
    Modèle :                                142
    Thread(s) par cœur :                    2
    Cœur(s) par socket :                    4