mistral.rs icon indicating copy to clipboard operation
mistral.rs copied to clipboard

metal phi3 --dtype bf16 "Function 'cast_f32_bf16' does not exist

Open jk2K opened this issue 5 months ago • 1 comments

Describe the bug

cargo run  --features metal --package mistralrs-server --bin mistralrs-server -- --token-source cache -i plain -m microsoft/Phi-3.5-mini-instruct -a phi3 --dtype bf16

error message

.4800033569336, 64.51000213623047, 64.52999877929688, 64.83999633789063], scaling_type: Su }), max_position_embeddings: 131072, use_flash_attn: false, sliding_window: Some(262144), original_max_position_embeddings: 4096, quantization_config: None }
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 128/128 [00:13<00:00, 13.48it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 67/67 [00:07<00:00, 9.84it/s]
Error: Metal error Error while loading function: "Function 'cast_f32_bf16' does not exist"

Latest commit or version

5fcc9d6f8c0159feb3a237d07e8b3eb191dc6474

jk2K avatar Sep 07 '24 11:09 jk2K