xhzheng1895
xhzheng1895
Hi,现在kleidiAI只支持对称量化的模型。 对于非对称量化模型,会走到DenseConvInt8TiledExecutor原本的一些函数里。但是需要把KAI_CONV_NCHW_IN_OUT这个宏关掉,否则输入输出format会和DenseConvInt8TiledExecutor原生的函数不匹配。
phi-2也是transformers各版本报不同的错... =4.37.0 ``` Traceback (most recent call last): File "/data_sdb/demos/mnn-llm/models/llm-export/llm_export.py", line 1404, in llm_exporter = llm_models[model_type](args) File "/data_sdb/demos/mnn-llm/models/llm-export/llm_export.py", line 1142, in __init__ super().__init__(args) File "/data_sdb/demos/mnn-llm/models/llm-export/llm_export.py", line 122, in __init__ self.load_model()...