Yang Liu

请教 shift 的作用

1

@KinglittleQ 你好，受限感谢分享的卓越工作，受益匪浅。  有个问题请教，这里 shift 的作用是什么呢？

Sample code does not work

2

Thanks for the great work, here are errors from my side (one host with eight V100 GPUs): CUDA_VISIBLE_DEVICES=0 python llama_inference.py /home/xxx/models/hf_converted_llama/7B/ --wbits 4 --groupsize 128 --load llama7b-4bit-128g.pt --text "this is...

Errors encountered when running benchmark FP16 baseline on multiple GPUs

2

Trying to run FP16 baseline benchmark for LLaMA 30B model on a server with 8 V100 32GB GPUs： CUDA_VISIBLE_DEVICES=0,1 python llama.py /dev/shm/ly/models/hf_converted_llama/30B/ wikitext2 --benchmark 2048 --check Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████|...

3-bit quant of a 65B model, encoutered following error during pack stage：